直皖大戰使皖系根基動搖，元氣大傷。段祺瑞時年55歲，有人斷言他從此將以在野之身終老此生。豈料幾年後，段祺瑞再次鹹魚翻身，走上政壇。
直奉聯合倒皖後，很快因利益之爭決裂，並於1921年4月爆發直奉戰爭，結果奉軍大敗，退出關外。吳佩孚控制北京政府後，重走段祺瑞的老路：武力統一。如此一來，直系的對手除了皖系、奉系以外，又增加了西南方面的勢力。
段祺瑞雖然在直皖戰爭中元氣大傷，但受損的主要是徐樹錚的邊防軍和安福系，皖系在滬、浙、皖、魯等地尚有一定勢力，所以作為北洋元老的段祺瑞，在軍中仍有很大影響。於是，逃亡中的徐樹錚又開始為段祺瑞重掌政權四處奔走，很快與南方的孫中山、東北的張作霖組成「反直三角同盟」。
1924年9月，第二次直奉戰爭爆發，雙方出兵達40餘萬，為北洋軍內戰史上用兵數量之最。戰爭一開始直軍便處於劣勢，而直軍第三軍司令馮玉祥戰場倒戈，班師回京發動北京政變，囚禁賄選總統曹錕，給了吳佩孚致命一擊。
然而，吳佩孚在回救北京失敗，前線亦因主帥離去迅速潰敗之後仍不死心，一面率殘部固守楊村、北倉等地，一面等候江蘇督軍齊燮元、湖北督軍蕭耀南馳援。豈知，段祺瑞早已指使山東、安徽等地皖軍，切斷了江蘇援兵通往京津的道路；湖北通往京津之路也被閻錫山所部與馮玉祥所部封鎖。而此時，馮玉祥正在調集軍隊向楊村、北倉等地包抄而來，準備一舉殲滅吳佩孚殘部。
值此危急時刻，段祺瑞動了惻隱之心。吳佩孚所率直軍主力第三師乃袁世凱的精銳部隊北洋第三鎮，段祺瑞曾任第三鎮統制。於是，段祺瑞以第三師老師長的身份給吳佩孚修書一封，勸吳佩孚放棄抵抗，「速離去，否則被擒耳」。
當時很多人認為，段祺瑞此舉是為回報皖系戰敗後吳佩孚的禮遇之恩，也有人認為段祺瑞吃齋念佛慈悲為懷，其實也是性格使然，段祺瑞脾氣暴躁剛愎自用，但卻心地善良，猶如當初放走張作霖，這也是他在北洋集團中落下好人緣的重要原因。
吳佩孚到天津後曾給段祺瑞打過一個電話，說準備將部隊開進租界以引起外國插手干涉。段祺瑞說：「你是中國最優秀的軍人，為什麼要引起國際問題呢？」吳佩孚聽了連稱「是」，當即由塘沽乘船逃走。
直系倒台後，張作霖與馮玉祥請段祺瑞出山。1924年11月24日，段祺瑞在北京鐵獅子胡同陸軍部宣誓就任中華民國臨時總執政。這是段祺瑞在國務總理任上三上三下之後，又一次登上北京政府最高領導者之位。
中華民國執政，這個職位是民國開國以來從未有過的，集總統與總理於一身，因此段祺瑞似乎比以前更加威風。但事實上，此時北洋內部的分裂和軍閥割據的狀況比以往任何時候都更為嚴重，而段祺瑞作為北洋前輩，與各地軍閥都有因緣，加上皖系尚有一定的潛在實力，他這個執政不過是在幾派軍閥相持不下的情況下，作為平衡關係被請上台的，因此他不得不看張、馮的眼色行事。正如馮玉祥在段祺瑞入京之日對其重要將領所說：「……就是段芝泉出山，也是個木頭人」。
張作霖的形容更加貼切：「就像只北京烤鴨。」意即段祺瑞夾在馮、張矛盾之中，前後受煎烤，左右不是人。
1925年12月，面對內憂外患以及學潮的困境，段祺瑞為了減輕自身的壓力，在執政府下增設國務院，以把針對執政府的示威遊行轉向內閣。而在新組的內閣中，大部分總長都是親近馮玉祥的人物。
恰在此時，徐樹錚自國外考察回到上海，提出直皖奉大聯合，北洋派大團結，擁護段祺瑞為唯一領袖的主張。並與直系孫傳芳、齊燮元等督軍會晤，商議聯合對抗馮玉祥和準備北伐的革命軍。
此間，段祺瑞以京津局面混亂對徐樹錚極為不利，電囑徐樹錚暫緩進京。但徐樹錚不以為然，自覺肩負使命，一定要儘快進京，依照禮法復命。12月19日，徐樹錚由上海乘船北上。一路上，段祺瑞又數次發電並派員阻止他進京，徐樹錚仍不為所動。
12月23日，徐樹錚來到北京。見到徐樹錚，段祺瑞雖然滿心歡喜，但擔憂更甚，他責備徐樹錚：「說了不讓你來，你為何如此任性？這裡是馮玉祥的地盤，他現在對你恨之入骨，你竟如此大膽，硬要往火坑裡跳！」
段祺瑞所言，是指徐樹錚殺害馮玉祥的舅舅陸建章的一筆舊帳。早在段祺瑞與馮國璋為主戰還是主和明爭暗鬥時，陸建章悄然前往天津，準備說服曹錕重回直系。徐樹錚為避免不利於段祺瑞的局面發生，盛情邀請陸建章到奉軍駐津司令部做客。在電話中，平日目高於頂的徐樹錚，一口一個前輩，態度極盡恭謹。第二天陸建章如約前往，徐樹錚親自在門口迎候，席間親自為陸建章斟酒，飯後又邀陸建章到後花園密談。陸建章毫無戒備地欣然前往，豈料，當兩人在後花園中邊走邊談的時候，衛士從後面向陸建章開了槍。
徐樹錚如此不顧後果、明目張胆地槍殺了陸建章，自然遭到馮玉祥的記恨，加上徐樹錚聯合直奉倒馮，段祺瑞擔心他會遭到馮玉祥的暗算，所以一再告訴他不要進京。可徐樹錚還是來了，他說：
「年關將至，無論多危險，也得來看望一下芝老。」
徐樹錚說著，眼圈紅了。徐樹錚向來以處事幹練果斷心狠手辣而著稱，但對段祺瑞卻是忠心耿耿，感情至深。段祺瑞深受感染，想到目前境遇，心情無比沉重。此後，兩人就聯合直、奉打擊馮玉祥，重建皖系勢力做了詳細商議。
既然來了，段祺瑞就勸徐樹錚住些時日，過了風頭再走。可徐樹錚是個急性子，只在北京待了5天就要匆匆南下，段祺瑞只好通過交通總長為徐樹錚安排了專車。12月29日，也就是徐樹錚離開北京的當天，段祺瑞在書桌上發現一張字條，上面寫著：「徐樹錚不可行，行必死。」
段祺瑞趕緊把字條拿給徐樹錚，阻止他南下。但徐樹錚看到字條後，只是淡淡一笑，根本沒當回事，他認為槍殺陸建章那筆舊帳已過去多年，馮玉祥未必會對他報復，而當時國民軍四面楚歌，馮玉祥不能不顧及影響，執意當日離去。
然而，徐樹錚的入京早已給馮玉祥敲響警鐘，尤其他在上海報館發表談話，公開提出直皖奉大聯合，令馮玉祥感到嚴重威脅，值此馮奉大戰爆發在即，為防止段祺瑞倒向奉系，馮玉祥已做好刺殺徐樹錚的準備。
徐樹錚的專列從北京開出後，馮玉祥立即對駐廊坊的張之江下達了行刺命令。當天夜裡車到廊坊，張之江的手下強行將徐樹錚拖到車下槍斃。隨後，馮玉祥派人連夜將陸建章的兒子陸承武送到廊坊，第二天便在各報刊出陸承武為父報仇的新聞，以此掩蓋徐樹錚被國民軍槍殺的事實。
段祺瑞與徐樹錚的感情，遠遠勝過袍澤之情，甚至勝過父子之情。徐樹錚的死訊猶如晴天霹靂，令段祺瑞呆若木雞，繼而失聲痛哭：「斷我股肱！斷我股肱！」都說徐樹錚是段祺瑞的靈魂，如今「靈魂」不在，段祺瑞一夜之間蒼老了許多，他為此恨透了馮玉祥，從此與馮玉祥的關係徹底破裂。
1926年2月，馮奉戰爭拉開序幕。3月12日，日本軍艦駛入大沽口，炮擊國民軍；16日，日本以國民軍破壞《辛丑條約》為由，與簽訂《辛丑條約》的八國公使，向段祺瑞執政府發出最後通牒，要求拆除大沽口國防設施，並集各國軍艦於大沽口，以武力威脅北洋政府。
八國的最後通牒激怒了中國人民，3月13日起，北京開始爆發大規模學潮。3月18日，眾多學生聚集在執政府門前廣場列隊請願，廣大市民也紛紛加入其中。在這次請願中，執政府衛隊開槍射殺請願群眾，造成46人死亡，150餘人受傷，釀成歷史上著名的「三一八慘案」。
當時段祺瑞在家中養病，沒有去執政府，究竟是誰下令開槍，不得而知。段祺瑞得知慘案發生後，異常震驚，立刻下令嚴懲兇手，接著趕到事故現場，面對死者，長跪不起。他哽咽著宣布自己將終身食素，以示懺悔。
「三一八」慘案發生後，執政府已喪盡民心。1926年4月20日，段祺瑞通電下野，自此，他在民國舞台上的表演徹底結束。
段祺瑞下野後回到天津，在租界做起寓公，表面上不問政事，每日埋首棋局，而他的目光卻一直沒有離開過政局。
兩個多月後，蔣介石就職國民革命軍總司令，誓師北伐。當時，北洋政府被奉系軍閥所控制，東山再起的直系軍閥吳佩孚占據兩湖、河南、河北、陝西，控制京漢鐵路，直系軍閥後起之秀孫傳芳占據長江中下游。北伐軍一路勢如破竹，北洋軍閥很快敗下陣來。1928年6月，張作霖撤離北京，乘專列在皇姑屯被日本關東軍預埋的炸藥炸成重傷，隨即死亡。12月末，張學良宣布東北易幟，中國大陸地區在形式上統一在了蔣介石的國民政府之下。
1930年，馮玉祥、閻錫山、李宗仁等聯合反蔣，日本人認為有機可乘，打出「北洋派大同盟」旗號，推舉段祺瑞主政，吳佩孚主軍，試圖在北京組織政府。段祺瑞對時局看得很清，知道反蔣成功之希望甚微，因此一口回絕，而「北洋派大同盟」果然很快土崩瓦解。
但日本人仍不死心，日本特務頭子土肥原四處活動，想要拉攏段祺瑞和溥儀，還安排兩人在載灃家中會晤。然而這次會晤進展並不順利，溥儀端著皇帝的架子讓段祺瑞十分不屑，而段祺瑞一副執政的架勢，溥儀也看不順眼，於是兩人不歡而散。段祺瑞曾對身邊人憤怒地說：
「鄙人不才，忝為國家元首，……這小子到今天還擺皇帝的臭架子，真是豈有此理！」
「九一八」事變發生後，日本人扶持溥儀在東北建立了偽滿洲國，隨後又將矛頭指向華北地區，企圖利用段祺瑞在北洋軍人中的影響，建立華北偽政權，由段祺瑞做華北偽政府首腦。但無論日本人如何拉攏利誘，均被段祺瑞一口回絕。
雖然段祺瑞堅決不為日本人做有損中國利益的事，堅決不下水做漢奸，但日本人的一次次拉攏讓蔣介石非常不安。蔣介石生怕段祺瑞與日本人合作，號召北洋軍人對抗南京政府，所以對段祺瑞極力拉攏。由於蔣介石是保定陸軍學堂的學生，所以他以段祺瑞學生的身份會見段祺瑞的侄子段宏綱，請他幫忙說服段祺瑞南下。
隨後，蔣介石又派國民黨要員、合肥人吳忠信北上看望段祺瑞，並為他送去二萬元生活費。蔣介石知道段祺瑞下野後生活拮据，以後每過一段時間，就會為段祺瑞送去一筆生活費。1933年初，蔣介石又親筆致書段祺瑞，懇請他「南下頤養」，段祺瑞為避免日本人「騷擾」，決定答應蔣介石的請求。
他對前來送信的交通銀行董事長錢永銘說：「我已經老不中用了，如中正認為我南下於國事有益，我可以隨時上路。」
1月21日，段祺瑞悄悄離開天津南下。抵達南京時，南京所有少將以上的軍官早已過江在南京浦口車站等候迎接，迎接隊列達600多人，大家高舉「歡迎抗日救國元老段老先生」、「歡迎三造共和的段老先生」等橫幅，簇擁著段祺瑞登上長江輪渡。
蔣介石一身戎裝，親自前往下關碼頭迎接段祺瑞。遠遠看到段祺瑞乘坐的船朝岸邊駛來，蔣介石便吩咐樂手奏起軍樂。船一靠岸，蔣介石率先登船，先是向段祺瑞敬禮問好，接著恭敬地將段祺瑞攙扶下船。這天晚上，蔣介石率南京軍政要員設宴款待段祺瑞，第二天，又陪同段祺瑞拜謁了中山陵。
由於段祺瑞的女兒在上海，於是段祺瑞決定去上海居住。1月23日晚，段祺瑞結束了在南京兩天一夜的旅程，乘火車來到上海，住在法租界霞飛路1487號陳調元的公館裡，蔣介石每月贈送一萬元生活費，將段祺瑞供養起來。