由於立下赫赫戰功，張宗昌因此深受張作霖青睞，被很快提升為第一軍軍長，所有從征人員全部晉升一級，中下級軍官均升為將校級，其部下們都樂得飄飄然起來，張宗昌率先控制天津，自認為直隸督辦非他莫屬，更是喜滋滋地對部下們許諾說：「等我當了直隸督辦，給你們一人一個鎮守使干，到時候，你們都可以享清福了。」
然而，儘管張作霖對張宗昌青睞有加，卻仍然不能將直隸督辦的職位送給張宗昌。這不僅因為他非嫡系出身，重要的是擺不平資格更老的李景林與楊宇霆，何況張宗昌的部隊桀驁不馴，勇猛有餘，卻給地方上騷擾過甚，京津地區比不得其他地方，惹出爭端非同小可。於是將直隸督辦給了李景林。
張宗昌拼命立下頭功，卻沒能得到一塊地盤，氣得破口大罵。這時，王翰鳴從旁邊提醒他說：「咱們軍隊軍紀一向敗壞，此番進津更是搶了一路，被百姓們稱作『三光』部隊，也難怪不讓你當督辦。」張宗昌聽後，閉嘴不罵了。
沒有地盤，10萬多軍隊無從安置和發展，張宗昌採取李藻麟的建議，先與李景林聯合，求得暫時安身。本來李景林督辦之位尚未坐穩，擔心張宗昌不服氣會採取武力行動，沒想到張宗昌憑藉強大的軍事後盾，幫助趕走處處掣肘他的直隸省長楊亦德，因此對張宗昌心懷感激，使其成為直隸第二主人。
儘管如此，寄人籬下終究不是長久之計。正當張宗昌巴望著爭取一塊地盤的時候，張作霖便給他送來了這個機會。其實張作霖對此不是沒有考慮，但為了向南擴張，離不開張宗昌這支勁旅給他衝鋒陷陣。直系戰敗後，張作霖等人請出皖系段祺瑞出任臨時執政，1924年12月11日，直系江蘇督軍齊燮元被免職，皖系盧永祥被任命為蘇皖宣撫使，張作霖令張宗昌護送盧永祥南下就職，然而護送是假，張作霖想要染指長江流域是真，張宗昌的任務便是打退齊燮元，藉機擴張。
張宗昌以為爭取地盤的機會終於來到，異常興奮。由於山東督辦鄭士琦為皖系人物，因此張宗昌護送皖系盧永祥「借路」非常順利。通過山東後，接下來就要過徐州，徐州鎮守使陳調元是直系齊燮元手下大將，但也與張宗昌為莫逆之交。當年張宗昌在馮國璋的江蘇都督府任職時，陳調元是馮的憲兵司令，張宗昌為朋友向來揮金如土，其間為陳出錢娶了上海名妓花四寶做姨太，兩人交情匪淺。聞聽張宗昌南下，陳調元立刻將軍隊調出徐州，退往碭山、豐沛一帶。張宗昌遂得以兵不血刃占領南京的門戶——徐州。
接下來，張宗昌以白俄軍為先鋒，白俄軍坐在鐵甲戰車裡，一手拿槍一手拿酒，不要命地向前沖，齊燮元部沒多做抵抗便棄城而逃。1925年元旦，張宗昌進入南京，隨後一路勢如破竹，直攻到無錫。1925年1月28日，齊燮元通電下野，次日，張宗昌即進駐了上海。
張宗昌本以為這次江蘇督辦非他莫屬，於是在上海花天酒地，等待張作霖控制的段祺瑞政府的委任。然而，晴天一聲霹靂，張宗昌被任命為蘇皖魯剿匪總司令，駐紮徐州。這意味著他再次與督辦無緣。張宗昌的部下頓時炸成一鍋粥，罵罵咧咧表示對這一任命的不滿。
但這次，張宗昌的反應令所有人大出意外。他不僅沒有破口大罵，反而表現得異常平靜，老老實實地整理隊伍開赴徐州。一到徐州，張宗昌便帶著厚禮前往奉天，看望張作霖。一進門，張宗昌即立正行禮：「報告，蘇皖魯剿匪總司令張宗昌到。」
張宗昌向來大大咧咧，粗魯不文，尤其不喜歡繁文褥節，而在張作霖面前如此有規有矩，完全是三年前張作霖「調教」的結果。當時張宗昌平定高、盧叛亂後回到奉天，還沒到張作霖的辦公室就大聲喊道：「老爺子，效坤回來了……」張作霖見他如此沒有規矩，不由得拍案而起：「出去，你還算個軍人嗎？當在你家呢？給我重進！」張宗昌驀然一驚，趕緊立正、轉身、出門，然而再立正、轉身、進門，進門後又立正、行禮，一板一眼地說：「報告，張宗昌到。」
從此，張宗昌到張作霖的辦公室，一直沿用這一模式。但眼下，張作霖反倒希望張宗昌隨意一些，像在家人至親面前無拘無束。張宗昌一次次建立戰功，卻一次次沒有得到地盤，但依舊對張作霖忠心耿耿，令張作霖心懷愧疚，如今又見張宗昌帶厚禮來見，更有些不好意思。
張作霖熱情地將張宗昌迎進屋裡，說道：「唉，這幾個月委屈你了，我也有難處。我已經想好了，把山東給你，怎麼樣？」張宗昌沒料到事情進展得這麼順利，立刻喜上眉梢，對張作霖千恩萬謝。
1925年5月7日，張宗昌抵達濟南就職，至此，張宗昌費盡周折，終於圓了督辦夢，在這塊好不容易爭取來的地盤上，張宗昌盡情地安插親信，橫徵暴斂。
但好日子沒過多久，戰事又起。6月13日，張作霖藉口上海發生「五卅慘案」，派奉軍進駐上海，任命邢士廉為上海警備司令，8月25日又任命楊宇霆為江蘇督辦、姜登選為安徽督辦。如此一來，已獲得浙閩兩地的浙江督辦孫傳芳的利益受到威脅。10月15日，孫傳芳通電宣布成立浙、閩、蘇、皖、贛五省聯軍，自任五省聯軍總司令，向奉系宣戰。
由於奉系在江蘇只有兩師兵力，楊宇霆「識相」地主動北撤，孫傳芳只用一天，便占領了上海、南京。為了抵抗氣勢洶洶的孫傳芳，張作霖任命張宗昌為直、魯、蘇、皖防禦總司令，南下阻擊孫傳芳。10月21日張宗昌率部赴徐州，部署三道防線抵禦孫傳芳。10月31日，孫傳芳針對張宗昌的防禦，向蚌埠、宿遷、永城以北撲來。
久未經歷敗仗的張宗昌此次遇到了勁敵。戰爭開始時，張宗昌以第二軍軍長施從濱為前敵總司令，乘鐵甲車親自指揮作戰，以白俄軍為前鋒，與孫軍馬葆珩團在任橋、固鎮一帶相遇並發生激戰，白俄軍兇猛殘暴，將馬葆珩團包圍後，以挖眼睛、割鼻子等殘忍手段殺害了馬葆珩團50人，不料此舉激發了馬葆珩團的潛力，他們沒命地攻擊白俄軍，最終活捉了300多名白俄軍。
與此同時，孫傳芳還繞到奉軍後面，破壞鐵路，阻斷奉軍後路，使得奉軍腹背受敵，最終施從濱被殺，而張宗昌引以為傲的白俄軍全軍覆沒。張宗昌對孫傳芳恨得咬牙切齒，他決心為施從濱和白俄軍報仇，然而幾次親臨前線指揮，均不能挽回敗局，不得不於11月6日揮淚撤回山東，孫傳芳占領徐州後，也停止了前進。
回到濟南後，張宗昌仍不得安寧，先是吳佩孚派靳雲鶚與駐防河南的國民軍岳維峻部乘張宗昌兵敗徐州之際，夾擊山東；接著在山東不得勢的夏蒲齋等人聯繫青島膠澳護軍使張懷斌等人意圖趁亂取張宗昌而代之，張宗昌一個頭兩個大，好不容易擊退外敵，平定內亂，重新坐穩山東督辦之位。
這時，西北邊防督辦馮玉祥的國民軍進軍天津，直隸督辦李景林丟了天津後跑到濟南向張宗昌求援，張宗昌立即同李景林組成直魯聯軍，殺進天津。1926年3月下旬，張宗昌的部隊占領天津，其部下褚玉璞被任命為直隸督軍，張宗昌被封為「義威上將軍」。
當張宗昌終於鞏固了山東督辦之位，用心經營著山東地盤的時候，1926年7月，北伐戰爭爆發，張宗昌的噩夢也隨之開始了。
北伐軍一路勢如破竹，橫掃著北洋軍閥的殘餘勢力，吳佩孚兵敗逃往四川，一些地方軍閥紛紛倒戈投靠蔣介石。當北伐軍將槍口對準孫傳芳的時候，張宗昌與張作霖同樣感到面臨的危機。為了對抗北伐軍，張宗昌與孫傳芳這對昨日戰場上的冤家不得不冰釋前嫌，聯手合作。11月29日，孫傳芳、張宗昌以直、魯、豫、蘇、皖、贛、浙、閩、陝、晉、察、熱、綏、吉、黑15省區聯名的形式，推戴張作霖為安國軍總司令。12月1日，張作霖在天津蔡園就職，任命張宗昌、孫傳芳為安國軍副總司令，同時命令張宗昌南下援助孫傳芳。
此時，孫傳芳的部隊因為連吃敗仗，已被北伐軍嚇破了膽，幾乎完全失去了戰鬥力。張宗昌調集17萬大軍，於1927年初南下，兵分兩路接替孫軍。一路由褚玉璞率領，進駐滬寧一帶；一路由張宗昌親自率領攻占安徽。然而，張宗昌的直魯聯軍仍然沒有擺脫孫傳芳連吃敗仗的命運，滬寧一帶先後被北伐軍攻下，張宗昌在安徽與已倒戈的馬祥斌部激戰三個月，未取得進展。最後馬祥斌在北伐軍的配合下，挫敗張宗昌的進攻。張宗昌不得不退回濟南，以直魯聯軍全面潰敗結束了此次南下作戰。
蔣介石發動反革命政變後，寧漢分裂，發生武裝衝突，蔣介石不得不抽調兵力與武漢對抗。張宗昌、孫傳芳乘機反攻，一舉收復藤縣、臨城、台兒莊等地。6月18日，張作霖在懷仁堂就任安國軍政府海陸軍大元帥，任命張宗昌為第二軍團軍團長，孫傳芳為安國軍第一軍團軍團長，兩人乘勝追擊，7月連克徐州、蚌埠、浦口，將北伐軍逐回長江南岸。8月，孫傳芳渡江南下，準備進攻南京。張宗昌在隴海線上與馮玉祥展開惡戰。然而好景不長，8月底孫傳芳在「龍潭戰役」中一敗塗地，10月底，張宗昌在蘭封一帶大敗而歸。