1928年4月，二次北伐開始後，北伐軍很快逼近濟南，張宗昌不得不放棄山東這塊地盤，向直隸逃去。張宗昌以為褚玉璞是他的手下，褚玉璞的地盤就是他的地盤，所以到達直隸後對褚玉璞說：「我把山東賠光了，來到你們直隸，我是在這裡吃勞金。」
勞金是買賣人的口語，意思就是自己的商號倒閉了，到聯號吃夥友，和吃自己的勞動力一樣。張宗昌到了直隸仍擺出「老大」的架勢，令褚玉璞很不高興。常言說「一山難容二虎」，兩人在權力和財政上難免發生爭執。有一回，褚玉璞打算出門，剛上車便遇到王翰鳴來訪，他把王翰鳴拉到車裡，問：「你看督辦會不會槍斃我？」王翰鳴趕緊說：「哪有這回事，你不要聽信謠言。」由此可見，張宗昌與褚玉璞關係之緊張。
隨著奉軍前線連連潰敗，張作霖於5月下旬在北京召開會議，決定撤離北京。會上，張作霖令張宗昌退守熱河，張宗昌一聽不讓他進東三省，心中頓生一股火氣，負氣說：「我不退，我掩護大軍，死守津京。」
不管張作霖作此決定是出於何種考慮，在張宗昌看來，都是對他不信任的表現。他對張作霖忠心耿耿，為他出生入死，仍不能換取他的信任，心中無比憤懣與悲哀，衝動之下，為表示自己的忠心，大義凜然地提出掩護奉軍後撤，死守京津。但事後卻很是後悔，無奈話已出口，也只能硬著頭皮幹下去。也正是這一衝動，加速了他的最終滅亡。
就在這個時候，張宗昌的老上司李征五突然來到天津，登門拜會張宗昌。自從1911年跟隨李征五從海參崴回到內地，張宗昌對這位將自己扶上戰馬的老上司，歷來敬重有加，甚至是言聽計從。他親自到車站迎接李征五，並設盛宴熱情款待。席間，李征五道出此次來訪目的：
「我是受蔣委員長之託而來，蔣委員長對我承諾，只要你願意接受南京國民政府的改編，改懸青天白日旗，直魯兩省仍歸你統轄。事到如今，你可要抓住這個機會！」
張宗昌沉默半晌，他知道這是個扭轉敗局的機會，尤其在張作霖不信任的情況下，他本應藉機投蔣，但是，這個一輩子大大咧咧的粗人，在這個特殊的時候想問題卻十分細心，他說：
「我這一輩子做過很多錯事，最讓我後悔的一件，就是背叛陳英士……我在落魄中投靠了張老帥，這些年我的一切都是張老帥給的，不管最後結局怎樣，我都不能背叛他。」
「我了解你的為人，可這不是個人恩怨問題，是順應潮流，許多人都走了這條路。」
李征五仍試圖說服他，但張宗昌主意已定，李征五隻好無功而返。
6月3日凌晨，張作霖乘火車返回奉天，張宗昌親自到北京送行，對張作霖的離去十分眷戀。前程渺茫，不知出路在哪裡，懷著沉重的心情登上張作霖的火車，到天津才下車。他戀戀不捨地望著火車駛出天津站，卻不料在6月4日凌晨抵達奉天前，張作霖的專列在皇姑屯車站附近被炸。
消息傳來，張宗昌為之大慟。雖當時據傳張作霖只是身受微傷，精神尚好，但在張宗昌看來，就憑張老帥那樣一個小身體，即使那一震，怕也是難以抵擋。6月21日，果然噩耗傳來，張宗昌忍不住痛哭失聲。
此時張宗昌已經退出天津，向山海關方向行進。離開天津時，張宗昌的一些部下拒絕開拔，選擇了投靠蔣介石。抵達灤州時，張宗昌的隊伍只剩下四萬人。在如此眾叛親離的處境下，張宗昌越發萬念俱灰，深感自己已是英雄末路。抵達灤州後，張宗昌為張作霖搭設祭堂，披麻戴孝，天天上祭，痛哭不止。
恰在此時，張宗昌得知張學良決定東北易幟，立刻致電張學良，表示願意加入東北易幟，請求返回東北。然而，張學良對張宗昌並不信任，生怕他回到奉天對自己在東北的統治造成威脅，回電說軍餉緊張，只能給他一個師的編制，師長為褚玉璞。
「這明擺著是讓我離開部隊，我為他張氏父子出生入死，如今山窮水盡，他竟然不肯收留我，真是忘恩負義的小人！」張宗昌盛怒之下，開口大罵。
但張宗昌不能眼睜睜看著自己四萬軍隊走向滅亡，只好再次請求張學良，給他四個師的編制，將他的四萬軍隊全部收編。張學良不僅堅決拒絕，同時加強了對張宗昌部的軍事防禦。張宗昌極度憤怒之下，表示將以武力抗爭。屬下將領個個摩拳擦掌，表示要與張學良拼個你死我活，上下同仇敵愾，向山海關的奉軍展開猛烈進攻。
此時，國民革命軍白崇禧正對張宗昌虎視眈眈，積極備戰，準備一舉拿下灤州。9月2日，白崇禧在天津誓師東征，使得張宗昌背腹受敵，走投無路之下，張宗昌派代表到唐山晉謁白崇禧，提出投誠的請求，但為時已晚，白崇禧不予理睬。張宗昌只好又向張學良請求停戰，表示答應張學良之前的改編要求，但最終因張宗昌和褚玉璞部下意見不統一，未能實現。
9月19日，白崇禧部與奉軍對張宗昌發起全線總攻，張宗昌部在兩面大軍的夾擊下，鬥志全無，很快潰不成軍。張宗昌見大勢已去，於9月21日帶親信數人來到灤河邊，掏出隨身攜帶的一顆漢代圖章，反覆撫摸上面的「宗昌」二字。這枚圖章跟隨張宗昌多年，每當下達軍事命令時，張宗昌都會用它蓋一個印，這是張宗昌使用多年的軍事專用章。但現在，悲憤絕望之中，他將這枚漢印遠遠地拋進灤河。
隨後，張宗昌與親信換上便衣，乘一隻小漁船，渡海潛往大連。此後，張宗昌的直魯聯軍被白崇禧收編，至此，張宗昌一生的基業毀於一旦。
逃到大連後，張宗昌不甘心最後的失敗，開始聯絡舊部，伺機東山再起。當年底，蔣、馮、閻三巨頭聚集平津，膠東半島成為空虛地帶，張宗昌舊部紛紛返回山東，蠢蠢欲動。段祺瑞企圖利用張宗昌在山東的優勢，控制山東全部，再圖大舉，派親信赴大連與張宗昌聯絡，任命張宗昌為「入魯軍第一統帥」。
1929年3月，張宗昌率糾集起來的舊部，從煙臺登陸，殺回山東，企圖利用山東舊部東山再起，但最終失敗，他多年的部下褚玉璞也在此戰中被殺，張宗昌再次逃回大連。由於蔣介石兩度命令全國通緝張宗昌，1929年夏秋之際，張宗昌不得不東渡日本，過起流亡生活。
張宗昌以每月2000多日元的價格租住下日本別府的「昭和園」別墅，別墅位於溫泉區中，依山面海，景色宜人，適合休養身心。但張宗昌在此卻屢受打擾，日本朝野人士紛紛上門對其進行收買拉攏，表示只要張宗昌願意同日本合作，便協助他回國東山再起。張宗昌雖然想東山再起，但也不想做漢奸，只好與日本人周旋。在與日本人接觸中，張宗昌得知一些日本侵略東北的軍事秘密，暗地裡將這些情報報告給張學良，希望對東北抗日有所幫助。
張宗昌一向喜聚不喜散，對朋友、部下出手闊綽，揮金如土。自己又全無金錢概念，而他本人並沒有什麼積蓄。東渡日本時本來追隨者甚多，後來又有許多人去看他，這些人在日本的一切開支全部由他支付，因此，他在日本第一年便花去上百萬元。
後來張宗昌的生活全靠朋友、部下接濟，張作相、陳調元、孫殿英等全都給予過大量資助，張宗昌的日子過得依然十分窘迫。有一次張宗昌向老朋友許錕求助，而許錕的錢全掌控在他家老太太手裡，很難要出，最後總算勉強湊了3萬元給張宗昌匯去救急，張宗昌曾感嘆道：「許錕這3萬元，是我平生花得最珍貴的一筆錢。」
1931年「九一八」事變前，張宗昌的母親變賣了部分家產，湊夠10萬元，親自到日本將張宗昌接回大連。此時張學良駐節北平，張宗昌逃亡時被南京政府查封的兩處房產，在張學良的幫助下已物歸原主。為了感謝張學良，張宗昌令參謀長李藻麟陪同母親到北京面見張學良，此行還有一個更重要目的，即提醒張學良密切注意日軍動向，因為張宗昌通過與日本人交往，感到日軍正蠢蠢欲動，欲對東北採取軍事行動。
1931年9月8日，張母和李藻麟抵達北平，住到張學良安排的六國飯店，直到9月18日中午，才得以面見張學良。張學良與夫人于鳳至設宴招待二人，同時請來張作相夫婦、萬福麟夫婦作陪。
席間，先是張母對張學良為張宗昌要回房子表示感謝，接著，李藻麟說明來意：「效坤讓我轉告您，日軍近期可能會對東北出兵，請您務必提高警惕。最近大連街上多了許多穿和服的年輕人，這些人換上軍裝就是兵，我們懷疑他們正是日本人增派到中國的軍隊。」
張學良聽了卻不以為然，以輕蔑的口氣說：「小小日本，何足為患，有國聯組織存在，它敢出兵東北！就算真的吞掉東北，國聯也會讓它乖乖吐出來。」
但令張學良始料未及的是，當天晚上，日軍便在奉天製造了「九一八」事變。
「九一八」事變爆發後，身在大連的張宗昌被懷疑同日本人達成合作，為了打破流言，在取得張學良同意的情況下，張宗昌於11月3日離開大連，前往北平。途中，無論在天津塘沽港口，還是在天津火車站、北京火車站，張宗昌都受到社會各界人士的熱烈歡迎。軍政界的歡迎自不必說，民眾團體尤其是學界人士的歡迎，令張宗昌深感意外。張宗昌以實際行動表明自己絕不當漢奸，因此得到抗日情緒高漲的民眾的熱烈歡迎，他們甚至強力推薦張宗昌出任華北抗日聯軍總司令。