1926年6月4日，蔣介石就任國民革命軍總司令，在籌組「國民革命軍總司令部」時，蔣介石考慮以李濟深為總參謀長，坐鎮廣州，白崇禧為副參謀總長，代行總參謀長職權。為此，蔣介石親自到白崇禧駐地，徵求白崇禧本人的意見。
白崇禧時年33歲，深感代行總參謀長職務責任重大，不敢輕易接受，以自己是第七軍參謀長，此事不能做主為由，請蔣介石徵詢李宗仁的意見。
於是，蔣介石又親赴李宗仁住所，先就總參謀長人選徵詢李宗仁的看法。李宗仁當即推薦了辛亥革命元勛鈕永建，蔣介石表示鈕永建另有借重，李宗仁反問：
「你心目中認為何人適當呢？」
「我正為此事來問你，我看白健生比較適宜。」
「我看未必。」李宗仁一聽蔣介石欲逾格擢白崇禧為參謀長，心中不悅，當即說：「健生資望太淺，年齡太輕，不能負此重任。」
「我看還是他好，還是他好！」蔣介石堅持道。
蔣介石之所以堅持讓白崇禧出任此職，自然有他獨具慧眼之處。首先，白崇禧才幹超群，多年征戰積累了豐富的作戰經驗，是此職位的最佳人選；其次，白崇禧出身保定軍校，與革命軍的多半將領是曾經的同學，可通過他加強總司令部與各部隊之間聯繫；再者，白崇禧與李宗仁、黃紹竑關係密切，可利用白直接指揮第七軍。因此，白崇禧出任副參謀總長，對於統御和指揮，可謂事半功倍。
在蔣介石的堅持下，1926年7月14日，白崇禧出任北伐軍副參謀總長，代行總參謀長職權，隨北伐軍總司令部經湘、鄂入贛，然後繼續北上，一路上統籌全局，指揮作戰。
此間，白崇禧曾多次親臨第一線，親冒矢石，顯示了卓越的指揮才能與鼓舞士氣主宰戰局的軍事才能，在湖北戰場開展的汀泗橋之戰，就是在彈藥缺乏、敵眾我寡的形勢下，直衝敵人陣地以白刃肉搏的作戰方式大敗吳佩孚的。戰前將領們請求補充彈藥，白崇禧巧婦難為無米之炊，但他鬥志昂揚地鼓勵將領們說：「缺乏子彈只好用刺刀衝鋒！革命軍補給靠前方，不能靠後方。打敗敵人，敵人的裝備，便是我們的補給。何況打下武漢，漢陽兵工廠取之不盡，用之不竭！」結果激戰四天，吳佩孚的軍隊全線崩潰。
攻占兩湖後，白崇禧於9月入贛與孫傳芳部作戰。11月8日，白崇禧率軍於馬口墟與孫傳芳部三個軍展開激戰，戰鬥從上午十時開始，至下午二時，敵軍不支，意欲逃走，不想其後路已被國民革命軍第十四軍所斷，無奈之下，只好宣布投降。
白崇禧接見了敵軍派來接洽投降的軍使，隨即同該軍使前往敵軍軍營視察。白崇禧初生牛犢不怕虎，完全沒考慮隻身深入敵營會有什麼危險，因此當他突然出現在敵軍三個軍長王良田、李彥青、楊賡和面前時，三人頓時驚愕萬分，好半天回不過神來。
三位軍長請求不要解除他們的武裝，白崇禧表示三個軍由他本人收編，三位軍長可攜少量軍械返回孫傳芳部，三位軍長沒想到白崇禧如此寬宏大量，對他感激不已。
然而，當白崇禧將他的處理意見致電蔣介石後，蔣介石立刻從廬山回電，稱「如此處置無異資敵」，命令白崇禧將三位軍長押至漢口國民革命軍總政治部。適逢總政治部工作人員金佛莊到孫傳芳的地盤搞地下活動，被孫傳芳逮捕槍斃，蔣介石生氣之餘，令總政治部主任鄧演達將三位軍長中二位槍斃，並發電孫傳芳，威脅道：「我已槍斃你的兩個軍長，如你尚迫害我工作人員，你應知道尚有數萬部下在我手中！」
白崇禧聽說蔣介石的決定後，立即前往面勸蔣介石，說：「革命軍以收攬人心為目的，我們要使敵人感恩戴德。如殺孫的俘虜，恐怕要收到『吳起坑降卒』的批評！」但蔣介石以電報已發出為由，堅持己見。
鄧演達收到蔣介石電報，槍斃了王良田、楊賡和，李彥青倖免於難。後來，李彥青見到白崇禧，當即跪倒在地，感謝白崇禧救命之恩。白崇禧嘆了口氣說：「這是鄧演達沒選到你，與我毫無關係。」
攻占江西後，1927年1月，蔣介石決定乘勝追擊，兵分三路進攻東南，由何應欽指揮東路軍進攻浙江；程潛為江右軍總指揮，沿長江南岸進攻南京；李宗仁為江左軍總指揮，由長江北岸進攻皖北。但此時何應欽的東路軍主力尚在福建作戰，而孫傳芳在奉系張宗昌的增援下起死回生，在浙江戰場連挫國民革命軍，蔣介石心急如焚。他知道，此時只有白崇禧出馬，才能穩住浙江戰局，因此對白崇禧說：
「何應欽入浙起碼要半月，浙江戰事不利，完全是指揮不力造成，以致第一軍與第二十六軍未能協調行動，我看你我兩人必須前去一人。」
「總司令是全軍之統帥，豈可往局部指揮，」白崇禧明白蔣介石的意思，當即說，「如總司令不以我才能淺薄，我願前往東路服務。」
於是，白崇禧臨危受命，出任東路軍前敵總指揮，同時，蔣介石還調總部參謀處長張定璠為白崇禧的參謀長，總部機要秘書潘宜之為白的指揮部政治部主任，此二人日後均對白崇禧幫助甚大。
1927年1月20日，白崇禧抵達浙西衢州，召開軍事會議，決定不等東路主力軍抵達，親率第一軍三個師及李明揚的先遣部隊由衢州北岸向蘭溪、嚴州進攻；以二十六軍、十九路軍一部為右翼軍，由衢州南岸向金華、蘭溪進攻；以第二軍為左翼軍，向開化、遂安進攻。進攻前，白崇禧故意讓部隊在衢江南岸出現，迷惑敵軍，讓敵軍以為他將以重兵攻擊南岸，於是將部隊集結於南岸。豈料白崇禧聲東擊西，趁夜將主力部隊調到北岸。待開戰後，敵軍發現上當，但為時已晚。
1月27日，白崇禧發起總攻，先後占領金華、蘭溪、遂安、壽昌、淳安、浦江、嚴州、桐廬等地。在孫傳芳軍反撲時，白崇禧又採用夾擊方式將其打敗。2月19日，白崇禧進抵杭州，23日，何應欽率東路軍主力到達杭州與之會合。至此，浙江戰事基本告終，白崇禧以少量兵力，獨立指揮，扭轉浙江戰局，取得浙江戰場的勝利。
接著，蔣介石與白崇禧、何應欽籌劃攻取上海、南京。在上海工人第三次武裝起義高潮中，白崇禧於3月21日進駐上海龍華，被任命為上海警備司令。隨後，蔣介石又占領南京，北伐軍在東南戰場上取得重大勝利。
4月12日，蔣介石發動反革命政變，白崇禧充當蔣介石的幫凶，大肆捕殺共產黨人和革命群眾，成為此次反革命政變的指揮者與執行者。4月18日，蔣介石在南京成立國民政府。5月初，蔣介石在南京召開軍事會議，部署渡江北伐計劃，擬定兵分三路，由何應欽任第一路總指揮，由鎮江、常熟渡江北上，先肅清江北敵軍，然後直取海州；蔣介石任第二路軍總指揮，由白崇禧代理，從浦口渡江北上，在津浦路正面作戰；李宗仁任第三路總指揮，自蕪湖渡江北上，斜截津浦路以攻浦口敵軍側背，並北上解合肥之圍，再攻隴海路，截斷津浦、京漢兩線敵軍的聯絡。
三路大軍揮師北上，5月下旬已過江大軍即開始進攻徐州、山東，奉系張宗昌的直魯聯軍與孫傳芳的五省聯軍節節敗退。6月上旬，三路大軍均到達隴海線，向山東發起全面進攻。與此同時，武漢國民政府也開始繼續北伐，以解河南奉軍的威脅。然而，7月上旬形勢急轉直下，寧漢矛盾激化，武漢國民政府發起「東征」討伐蔣介石，蔣介石調主力回師南下，準備抵抗武漢東征。7月上旬，主力部隊南撤，張宗昌部與孫傳芳部乘機反攻，很快收復失地，於7月24日攻陷徐州。
徐州失守，令蔣介石一怒之下親赴前線指揮反攻，結果失敗更慘，不僅徐州未奪回，而且致使敵軍正面出擊，北伐軍一路潰敗，連淮河一線也無法防守。8月6日，蔣介石退回南京，江北盡失。
蔣介石氣急敗壞，回到南京第二天，便在總司令部召開緊急會議，李宗仁、白崇禧、何應欽全部到場。
當時南京兩面受敵，北有孫傳芳的軍隊隔江對峙，西有武漢「東征軍」唐生智的軍隊大兵壓境，尤其是唐生智的軍隊，對南京政權構成嚴重威脅。而武漢方面汪精衛與唐生智決心倒蔣，和談條件是蔣介石下野。因此，會議一開始蔣介石就明確表態：出兵征討武漢，非先定武漢不能繼續北伐。
李宗仁卻持反對意見，認為南京兩面受敵，尤其唐生智的「東征」軍不可小覷，主張先和漢後北伐。蔣介石聽了心裡很不高興，但表面不露聲色，說：「如果你們非要和的話，那我就走開，讓你們去和好了。」
蔣介石此話原本是對在場各位的要挾，不料白崇禧卻順勢說道：「此時為團結本黨，顧全大局計，總司令離開一下也好。等我們渡過眼下難關，再請總司令回來行使職權。」
白崇禧的話令蔣介石大吃一驚，尤其他對白崇禧有提攜之恩，白崇禧本不該在關鍵時刻與他對抗。但李、白本非嫡系，他只好把希望寄托在何應欽身上，希望何應欽站出來反對。但當他把目光投向何應欽時，何應欽卻低著頭一聲不吭。很顯然，何應欽的態度就是對白崇禧意見的默認。
這時李宗仁又說了一句：「請總司令自決出處。」在這種局面下，蔣介石已無退路，只好憤憤地表示：「好！好！就這樣吧。」
8月13日，蔣介石發表「辭職宣言」，通電下野，在對軍事、政治做了一番安排後，回到溪口老家，不久又東渡日本。這是蔣介石第一次下野，應該說，造成蔣介石下野的原因，除了武漢汪精衛、唐生智的倒蔣外，桂系的逼宮起了重要作用。特別是白崇禧、李宗仁與何應欽的聯合，使蔣介石陷於「孤立」地位，因為除了此三人，他根本無力與武漢一決雌雄。尤其在他指揮津浦線作戰一敗塗地，其威信大受影響之時，只能以退為進，宣告下野。
而蔣、桂矛盾由來已久，早在兩廣統一時，蔣介石為了遏制桂系勢力的發展，堅持只給廣西一個軍的番號，即第七軍，財政上更是不願統一，直到北伐戰爭開始後，第七軍軍費仍由廣西財政負擔。後來第七軍入贛，在多方爭取下，蔣介石才不得不同意由中央為第七軍支付軍費。但在武器裝備與軍餉等方面，蔣介石明顯偏向其嫡系第一軍。此外，在北伐中各軍都發展很快，除第一軍外，第四軍、第八軍也都紛紛擴軍，其中第八軍擴編為四個軍，而同樣戰功赫赫的第七軍在蔣介石的壓制下始終不能擴編，這毫無疑問加深了李、白對蔣介石的不滿。
就白崇禧個人來說，儘管蔣介石對他有提攜之恩，但蔣介石又何嘗不是對他的利用，尤其蔣介石的心胸狹隘，無端猜忌，令白崇禧極為反感。在浙江戰場上，白崇禧對蔣介石的嫡系第一軍指揮自如，第一軍的幾個師也都服從白崇禧指揮，令蔣介石感到巨大威脅。而白崇禧性格耿直，不懂得阿諛逢迎，甚至會當面頂撞蔣介石，因此蔣介石常常表現出對白崇禧的不滿，說他「不守範圍」，張靜江曾試圖調解兩人關係，蔣介石卻皺著眉說：「白崇禧是行，但是和我總是合不來，我不知道為什麼不喜歡他……」
蔣介石的專制獨裁、排除異己，也加深了他與李、白之間的矛盾。1927年春，蔣介石懷疑程潛與武漢國民政府秘密聯繫，於他不利，便決定除掉程潛。幸好程潛事先得知，慌忙逃走，蔣介石乘機將其第六軍強行繳械改編。蔣介石此舉無疑令李、白心生自危之感。
蔣介石自徐州大敗歸來後，第三路軍代理總指揮王天培到南京請示機宜，蔣介石乘機將王關押起來，將徐州戰敗責任全部推到王天培身上，未經審判便將其處死。王天培是黔軍將領，第十軍軍長，蔣介石此舉令各路非嫡系將領甚為恐慌。何應欽乃王天培同鄉，雖為準黃埔系，卻也難免頓生兔死狐悲之感；李、白二人更是不寒而慄。早在北伐東路作戰中，白崇禧便與何應欽達成默契，私交甚好。在此背景下，白崇禧帶頭逼宮，何應欽與之呼應便也不足為奇了。