其實，早在10月10日馮國璋下台的同時，段祺瑞已通電辭去國務總理的職務，只是保留了參戰督辦一職。
段祺瑞之所以辭職，主要是藉機擺脫來自前方的軍事壓力和來自後方的輿論壓力。在前線，主戰派吳佩孚突然通電倒戈，打亂了段祺瑞的整個軍事部署；在後方，由於「西原借款」被披露，群情譁然，而安福系包辦選舉也遭到輿論抨擊，段祺瑞為了擺脫困境，不得不再次以退為進。
辭去國務總理後，由於內閣全是安福系的人，段祺瑞依然把持著北京政府。但在前線段祺瑞卻力不從心了。直系的後起之秀吳佩孚青出於藍，段祺瑞完全沒想到會敗倒在這個不起眼的晚輩手下。
吳佩孚是曹錕手下的頭號大將，畢業於保定陸軍學堂，說起來還是段祺瑞的學生。而早在吳佩孚嶄露頭角時，便有山東隱士郭緒棟向段祺瑞舉薦過吳佩孚，當時郭緒棟說：
「吳子玉是潛龍在淵，總有一天會一飛沖天。」
「與又錚比如何？」段祺瑞急問。
「各有長短。論手腕、心計、縱橫捭闔，當屬又錚。若論帶兵打仗，進退攻守，北洋後起將領中無出吳子玉之右者。」
郭緒棟素有識人之能，經常為北洋中上層人士舉薦人才，段祺瑞對其所言深信不疑，隨後便找到曹錕，以軍火為交換條件，借走了吳佩孚。
曹錕對吳佩孚一向縱容，敬重有加，但吳佩孚對曹錕的貪婪非常不齒，所以並不以追隨曹錕為榮。對段祺瑞的清廉和自律，吳佩孚早有耳聞，心中敬仰之極，聽說段祺瑞請他過去幫忙，自然喜不自禁。
然而，兩人的第一次見面並不愉快。那天段祺瑞剛剛與馮國璋大吵了一通，馮國璋前腳走，吳佩孚後腳就來了。段祺瑞一向不擅隱藏情緒，喜怒都掛在臉上，對吳佩孚的態度便顯得冷淡而不耐煩，甚至沒看吳佩孚一眼，只是淡淡地交代了一句：「這份演習計劃，限你一周完成。」
吳佩孚何曾受過如此冷落，心裡十分窩火，回敬道：「何須一周，一日便可完成！」
吳佩孚的狂妄口氣，讓段祺瑞忍不住抬起頭來，看到吳佩孚不屑的眼神，段祺瑞立刻怒火中燒，恨恨地說：「好，就一天，完不成休來見我！」
吳佩孚心高氣傲，不擅巴結上司，習慣被人敬重，見段祺瑞對自己如此不屑，不再說話，而是轉身離去。看著吳佩孚的背影，段祺瑞的心情更加敗壞。
第一次見面，兩人對彼此都沒有留下好印象。但是，印象畢竟是可以改變的，或許相處久了，就會發現彼此的優點。到那時，說不定吳佩孚會成為段祺瑞的心腹，那麼，歷史說不定會重新改寫。可是，徐樹錚亦非等閒之輩，他怎會眼睜睜看著別人跟自己「爭寵」？於是，當吳佩孚回到住所，開始著手做演習計劃之時，徐樹錚笑呵呵地登門拜訪。
「吳兄，久仰大名。今日相見，真是三生有幸。」
徐樹錚對吳佩孚一副萬分敬重的樣子，令吳佩孚心中頓生好感。吳佩孚熱情地將徐樹錚迎到室內，兩人隔桌而坐，暢談時事，竟越談越投機。吳佩孚驚異地發現，徐樹錚在許多問題上見解高深，比自己有過之而無不及，立刻心生敬仰。吳佩孚生性豪爽，見今日得一知己，興致高漲，便吩咐人定了一桌酒席，邀徐樹錚外出喝酒，不醉不歸，完全將段祺瑞布置的任務拋到了腦後。
吳佩孚向來貪杯，這頓酒席直吃到半夜，與徐樹錚分別時，吳佩孚已爛醉如泥，話都說不清了，不可能再去完成什麼演習計劃。看到吳佩孚這種狀態，徐樹錚得意地笑了。
第二天一早，徐樹錚就找到段祺瑞，裝作不經意地提起吳佩孚，段祺瑞想起給吳佩孚布置的演習計劃，應當今早交上的，一打聽，吳佩孚這會兒根本沒在差上。在徐樹錚的挑撥下，段祺瑞以為吳佩孚妄自尊大，不將自己放在眼裡，立刻備車，前往吳佩孚的住所。
令段祺瑞吃驚的是，吳佩孚竟然宿醉未醒。段祺瑞登時火冒三丈，指著吳佩孚的鼻子就是一頓臭罵。吳佩孚吃軟不吃硬，既不解釋也不認錯，當天就返回曹錕軍中，兩人至此不歡而散。
段祺瑞沒有想到，1918年初二次征湘時，在湖南前線連打勝仗的竟然是吳佩孚。當時曹錕為第一路總司令，吳佩孚率部打前陣，很快脫穎而出，晉升第三師師長。3月上中旬，他先克臨湘又克岳陽，接著奪取長沙、湘陰，可謂戰功赫赫。直到這時，段祺瑞仍然沒把吳佩孚放在眼裡。在吳佩孚攻下長沙之後，段祺瑞任命其親信張敬堯為湖南督軍兼省長，而張敬堯入湘後連吃敗仗，這讓賣命苦戰連打勝仗的吳佩孚憤憤不平。
但段祺瑞完全沒有注意到吳佩孚的反應，而是急電曹錕飭令吳佩孚繼續追擊湘粵桂聯軍，直搗兩廣。吳佩孚撤出長沙後，於4月末一舉攻克衡陽。捷報傳來，段祺瑞欣喜若狂，再次命令吳佩孚繼續南下，掃平兩廣。
這時，段祺瑞第一次感到武力統一全國已穩操勝券。豈料，吳佩孚在這個時候卻不買帳了！徐樹錚帶來的一封電報將段祺瑞從天堂推向了地獄，電報云：吳佩孚按兵不動，第三師全體大罷兵！
段祺瑞盯著電文足有一刻鐘，然後「啪」地拍了桌子，一聲怒吼：「他為什麼要罷兵？」吼過之後，段祺瑞頹然坐在椅子上，直到這時他才意識到，慢待了吳佩孚這個武力統一的關鍵人物。徐樹錚似乎也明白過來，兩人趕緊商量補救措施。但是為時已晚，無論段祺瑞如何安撫曹錕、吳佩孚，吳佩孚均不買帳，而且很快與南軍達成停戰協議，氣得段祺瑞暴跳如雷。
馮國璋下台後，曹錕、吳佩孚成為直系領袖，開始醞釀反皖倒段戰爭，矛頭直指徐樹錚及安福系。1920年5月，吳佩孚開始撤防北上， 6月中旬，直軍全部抵達中原，並在鄭州到保定的京漢鐵路沿線部署兵力。吳佩孚此舉不僅宣告段祺瑞的「武力統一」政策徹底破產，同時預示著直皖大戰不可避免。
段祺瑞對此早有準備，其心腹徐樹錚早在徐世昌上台之初便出任西北籌邊使、西北邊防軍總司令，在西北地區大練「邊防軍」，如今已重兵在握，成為名副其實的「西北王」。其邊防軍無論在數量上還是在裝備上，都遠遠勝過直軍，倘若直、皖一對一較量，段祺瑞自信穩操勝券。
在此情況下，被請入關的奉軍便成為了直皖戰爭的關鍵砝碼，奉軍偏向任何一方，都有可能導致另一方的失敗。6月下旬，張作霖翩然入京，前往團河拜訪段祺瑞，信誓旦旦地表示：嚴守中立。段祺瑞對此深信不疑，因為他知道張作霖素與曹錕不和，但是他萬萬沒有想到，張作霖與徐樹錚有著更深的嫌隙。
秦皇島截械之後，張作霖與徐樹錚的關係曾一度十分熱絡。為了感謝徐樹錚，張作霖任命徐為關內奉軍副司令代行總司令職務。然而好景並不長，在對西南方面的作戰中，徐樹錚將奉軍放到最前線充當替死鬼，引起張作霖的不滿。後來張作霖調查到徐樹錚以奉軍名義代領軍費335萬元，用來編練自己的軍隊，氣得破口大罵，當即下令免去徐樹錚的副司令一職，兩人從此勢同水火。
直皖戰爭爆發前，張作霖再次來到北京。7月5日，徐樹錚專程拜訪張作霖，不僅態度異常誠懇，而且對張作霖反省了自己以前的所作所為，重新取得了張作霖的信任。隨後，徐樹錚邀請張作霖到團河開會，指導皖系下一步軍事行動，張作霖欣然答應。
7月7日，就在張作霖到達團河之前，徐樹錚告訴段祺瑞一個驚人的計劃：在宴席上行刺張作霖！段祺瑞聽後大吃一驚，立刻嚴厲勸阻：
「又錚，不能胡來，會引發事變的！」
「顧不了那麼多了，萬一直奉聯手，皖系就是死路一條，不能坐以待斃！」
「不行，我們應該從長計議……」
「你若是不忍心，一會兒躲別處去，我一個人應付得來。」
段祺瑞知道徐樹錚對自己一片忠心，不想與他爭執。而且張作霖就要進門，爭論下去無益。但段祺瑞實在不忍心殺掉張作霖，尤其是把人家引到自己府邸，然後殺掉，傳出去輿論上都不好交代，何況段祺瑞最厭惡這種背後捅刀子的事，在他看來不符合軍人的做派。
宴席開始後，徐樹錚對張作霖熱情招待，執禮甚恭。段祺瑞為了提醒張作霖，一直鐵青著臉，一言不發，冷冷地瞪著張作霖，張作霖震驚之餘頓時明白過來，隨後便故意大口地喝酒，然後由侍衛攙扶著到外邊嘔吐，藉機逃走了。徐樹錚得知張作霖已逃，頓足長嘆：「完了！放虎歸山，後患無窮。婦人之仁會壞了大事！」
7月14日，直皖戰爭在京津一帶爆發。皖系以五個師四個混成旅組成定國軍，段祺瑞任總司令，徐樹錚任副總司令兼參謀長。直系以一個師九個混成旅組成討逆軍，以曹錕為總司令，吳佩孚為前敵總司令兼西路總指揮。儘管皖軍在人數與武器裝備上優於直軍，但徐樹錚完全不是吳佩孚的對手，吳佩孚不僅作戰勇猛，且戰術多變，使皖軍連吃敗仗。
17日，嚴守中立的奉系張作霖果然對皖系宣戰，直奉聯合攻皖，使得皖軍腹背受敵，失敗已成定局。
19日，直皖戰爭旋即結束。徐樹錚被懸賞10萬元通緝，走上四處流亡之路。邊防軍在如此短的時間內一敗塗地，令段祺瑞痛心疾首。家人和親信下屬勸他去天津避避風頭，他暴躁地大喊：「我哪裡也不去！我倒要看看他們能把我怎麼樣！」
曹錕、張作霖自然不能把段祺瑞怎麼樣，而且兩人都先後派代表到段府慰問，吳佩孚也摒棄前嫌，親自登門拜見段祺瑞，並以「老師」相稱。此後段祺瑞一直住在北京，直到1922年2月才返回天津居住。