白崇禧逼迫蔣介石下野的目的是，他見蔣介石指揮無方、敗績連連，生怕國民黨最後一點本錢也被他輸光，因此與之分家。白崇禧曾說：「國軍並非不能打仗，共軍不是神兵，他們能打，我們也能打。現在正是扭轉乾坤的時候，只要蔣介石下來了，一切可以從頭做起。」
然而，蔣介石雖然下來了，仍操控著國民黨軍政大權，李宗仁根本指揮不動蔣介石一手提拔的軍政要員，又缺乏掌控全局的能力，如此一來，白崇禧費盡心機逼蔣介石下野，最終卻是竹籃打水一場空。
白崇禧趕蔣介石下台，原本是希望與解放軍達成「劃江而治」的格局，但談判既已失敗，李宗仁在台上空占著總統的位子，白崇禧就打算讓蔣介石復職，但李宗仁好不容易得來的代總統，豈會輕易放手？10月，蔣介石復職在望，派吳忠信意圖說服李宗仁自動退位，回任「副總統」，並請蔣介石復職。白崇禧表示贊同，但李宗仁堅決不允，而且惱怒地對吳忠信說：「蔣先生如果要復職，就自行復職好了，我沒有這個臉來『勸進』。」
李宗仁又對桂系內部將領表示，自己不願『勸進』並非迷戀權位，只是覺得蔣欺人太甚，自己要為維護國家機器而堅持到底。但隨著局勢對國民黨越來越不利，11月14日，李宗仁決定赴美，一走了之。
12月上旬，桂系部隊在廣西境內被全部殲滅；12月20日，李宗仁不告而別，逕自飛往香港，然後轉赴美國，將整個爛攤子甩給白崇禧。此時，白崇禧賴以生存的老本已經輸光，也已經沒有了立錐之地。由於他屢次拒絕中共的爭取，留在大陸的道路已被堵死，眼前的去路只有兩條路：第一是去台灣「歸隊」，第二是步李宗仁後塵，逃亡海外。
早在12月10日，便有兩位不速之客來到白崇禧在瓊的住處，他們是「陸軍副總司」令羅奇與前軍政部軍需署長陳良，陳良帶來了黃金數萬兩，說是清還所欠華中部隊的軍餉，羅奇則是奉蔣之命請白赴台「共商善後」的，並暗示白崇禧，蔣有意讓其出任「行政院長」之職。白崇禧心裡清楚，他現在無一兵一卒，光杆司令一個，老蔣與他「共商善後」是假，到台北「勸進」是真，因為蔣介石早已迫不及待地要復位了。
當時，白崇禧多年的至交「立法委員」何遂曾勸他不要赴台，因為蔣介石早晚要與他清算舊帳，赴台無疑自尋死路。白崇禧卻說：「我自追隨蔣公北伐以來，殆逾二十載，既處遇順境，亦處遇逆境，一生一世歷史第一，我必對歷史有所交代，生死利害，在所不計，君勿為此喋喋也。」12月30日，白崇禧乘飛機抵達台灣。
為了讓蔣介石看到自己此時的效忠，白崇禧將家眷20多人從香港接到台灣，包括大哥、二哥、四弟和二妹，讓親屬們住在兩幢大房子裡，他自己一家住在台北松江路127號一幢舊式平房中。對此，白崇禧的朋友們都感到不可思議，紛紛勸他說：你看誰誰，去了日本，誰誰去了泰國，誰誰去了美國，你也快走吧。
白崇禧卻道：「我們大陸丟了，我們是現役軍人，負很大罪過，『中央』不處罰我，自己良心自責。台灣是復興基地，領土就只剩這一點點，希望在這生根發展回去，除此之外，現役軍人死無葬身之處，跑到哪裡去？」
儘管蔣桂爭鬥多年，特別是在淮海戰役中白對蔣的公開對抗，在蔣陷入危機時的再度逼宮，令蔣介石銜恨至深。但白崇禧自負地認為，蔣介石不會甘心偏居一隅，其「反攻大陸」時還要靠他統兵打仗。同時，他還是蔣介石用來牽制李宗仁的一顆棋子，對於蔣介石來說，他還有利用價值。因此，他覺得至少不會在近期有身家性命之虞。
1950年3月1日，蔣介石以「國民之公意」為辭「復正大位」。此前，白崇禧特致電李宗仁：「望公不持反對態度，以期留有餘地。」但李宗仁在蔣介石宣布復職的當天下午，即在紐約舉行記者招待會，抨擊蔣介石的「復職」為「違憲」。白崇禧為向蔣介石表忠心，隨即又寫了一封信給李宗仁，指責其不應與蔣對著幹。
蔣介石復職後，開始清算大陸失敗的責任人，其有的被槍斃（如陳儀），有的被判刑（如李玉堂），有的被「驅逐」（陳立夫），有的被掛起（陳果夫等）。至於桂系的李、白二人，毫無疑問是導致大陸江山易主的「罪人」。蔣介石曾想引渡李宗仁回台灣治罪，但考慮到美國不會答應，反而會弄巧成拙造成負面影響，只好作罷。而李宗仁在美國，白崇禧就成為了美國人以及輿論關注的對象，握在手裡卻不能動他，這讓蔣介石恨得咬牙切齒。他給白起了個「老妹子」的代號，將其列為頭號政治敏感人物，派特工24小時嚴密監視，並為此在白家對面設了個派出所。
白崇禧立刻「心領神會」，主動配合，一方面減少外出活動，一方面在外出中為對方監視提供方便。有一次乘車外出，白崇禧發現一輛吉普車跟蹤而上，立刻明白這是蔣介石派來的特務，於是對司機說：「開慢點，別讓後面的車跟丟了。」然而很不幸，吉普車半路拋錨，白崇禧只好命司機停車，又對身邊隨從說：「去告訴那些跟蹤的特工，讓他們不要著急，慢慢修車，我們會等著的。」特工人員收到口信後感到非常尷尬。
還有一次，白崇禧和幾個朋友到咖啡店喝咖啡，臨走時結了三桌客人的帳。朋友們很不明白，白崇禧笑笑說：「你沒看出有兩桌是我的『保鏢』麼？他們那麼辛苦，我應該給他們買單。」後來這件事傳開，那些特工承認，在所有客人中，確實只有他們兩桌人是有「任務」的，並對「小諸葛」的好眼力佩服不已。
隨著時間的推延，蔣介石對白崇禧的限制也越來越多。1952年一天，白崇禧正在家中看書，門鈴突然響個不停，白夫人打開門後，衝進幾名特工，不由分說便進屋搜查，不僅將櫥櫃等家具全部翻看一遍，還將地板通通挖開。白崇禧忍無可忍，給蔣經國打去電話責問。蔣經國說：「健公，這不是我的意思，你打電話問『總統』吧。」白又打電話給蔣介石，蔣介石說：「我知道這件事，我們對所有人都應該來一次這樣的大搜查。」但事實上，這次只搜查了白崇禧與薛岳，以後也沒有對其他人進行過此類搜查。
在1952年10月召開的國民黨第七次「全代會」上，國民黨改造宣布結束，作為對「黨國元老「的安置，所有未在新組建的中央委員會任職的「黨國元老」，均在中央評議委員會裡提名任職，只有一個人除外，這個人就是白崇禧。而白崇禧原來的「中央執行委員」、「中常委員」也在此次會議中被拿掉，只留下「總統府戰略顧問委員會副主任委員」、「中國回教協會理事長」和「國大代表」這些空銜。
白崇禧在抗戰時期擔任中國回教協會理事長，對加強民族團結，加強西北回族及馬家軍的內向力，抵制日本人的分裂陰謀，做出了巨大貢獻。然而，1955年約旦國王海珊訪問台北，邀請白崇禧訪問中東，蔣介石不僅拒絕白崇禧受邀離台，同時要求回教協會改選理事長。於是，白崇禧黯然辭職，「中國回教協會理事長」被剝奪。
對於白崇禧受此不公的待遇，很多人打抱不平，他的朋友憤憤地說：「你看看何敬之（何應欽字），在大陸時，你們二人曾經拍檔親密無間，如今處境卻天壤之別。他雖然也被奪了權，但起碼還居高位可以出席『道德重整會』去美國轉轉，你卻被禁止踏出台灣一步。這太不公平了。」
白崇禧卻很坦然地對朋友說：「對於這樣一次大失敗，總要有人來頂罪，任何時候都一樣，沒有什麼好奇怪的。」
此時的白崇禧，雖然受到許多限制，但並未受到蔣介石的公開處罰。然而，湖北「國大代表」突然彈劾白崇禧，說他吞沒軍費7萬多兩黃金；吞沒漢口中央銀行庫存370多萬兩白銀；不服從統帥指揮，擁兵自重，要求「追究責任，以明是非，振紀綱而知復興」，令白崇禧驚慌不已。
原來，桂系軍隊長期盤踞湖北，苛捐雜稅繁重，令湖北人不堪重負。以「湖北人家長」自居的何成浚為討好蔣介石，藉機落井下石，策動湖北「國大代表」彈劾白崇禧。幸好蔣介石此時並不打算與白崇禧清算舊帳，陳誠也親自為白氏辯護，公開對湖北「國大代表」說：「華中的事，各委員所提的不是事實，你們要想知道真相來問我。」此事便被壓下了。
但在1954年「國民大會」一屆二次會議上，湖北「國大代表」40多人聯名，舊案重提。白崇禧再次以書面作答。最後「國大」會議決定保留此案，彈劾案才不了了之。
不料，白崇禧驚魂未定，又一個險情凸現，潘公展在香港《新聞天地》發表文章，提及當年華中「剿總」抗旨不尊，「視徐淮之告急若秦越之不相關」，再次讓白崇禧陷入惶惶不安之中。1959年蔣經國出版的《危急存亡之秋》一書，其間披露了桂系逼宮全過程，令白崇禧百口莫辯。華中「剿總」抗旨不尊、先後數次逼宮，成了白崇禧晚年的心病，擔心蔣介石隨時會以此為藉口，置他於死地。
在這種惴惴不安中，副總統陳誠對白崇禧表現出的寬容與示好，令白崇禧深感安慰。1954年的「國大」一屆二次會議還有一項議程，就是選舉正副「總統」。「副總統」一職由蔣介石提名陳誠。雖然在大陸時陳誠與白崇禧明爭暗鬥，互不相容，但如今陳誠成為炙手可熱的二號人物後，對白崇禧非但沒有落井下石，反而禮遇有加，十分尊重。並於此前專程拜訪白崇禧，希望白能幫忙拉選票。陳當選「副總統」後，蔣要他兼任「行政院長」，陳為此徵求白崇禧意見，白送他四個字：「養體養望」，建議勿兼。以後陳誠有什麼事總是徵求白崇禧的意見，白亦知無不言，陳自從善如流。1961年白崇禧70大壽之日，陳誠夫婦親自到白府祝壽，並與白崇禧合影留念。
白崇禧去台之後的生活，主要靠讀書寫字、打獵、下棋消磨時光。晚年的一項工作就是口述回憶錄，並於1984年以《白崇禧先生訪問記錄》為書名，分上下兩冊公開出版。