回到北京，張宗昌首先去見靳雲鵬，一見面靳雲鵬就說：「陳光遠在陸軍部和總統那裡狠狠告了你一狀，要不是我從中斡旋，你早被緝拿嚴辦了，不過你的殘部都被遣散和改編了。你知道我這個總理沒有實權，你若想東山再起，只能去找曹仲珊（曹錕）。」
靳雲鵬雖不能幫張宗昌重掌兵權，但卻幫他索回了20萬軍餉，張宗昌對此感激不已。有了錢就有了底氣，張宗昌決定按靳雲鵬所說從曹錕那裡下手。此時直皖大戰已經結束，皖系段祺瑞兵敗，北京政權被直系曹錕和奉系張作霖共同執掌。適逢曹錕60大壽，張宗昌素知曹錕愛財，竟將手頭所有的20萬元拿出來，打造了八隻金壽星，前往保定給曹錕祝壽。
這一天保定曹府冠蓋如雲，高朋滿座。而張宗昌一個敗軍之將，手無寸兵，身無分文，他的到來令曹錕心中頗為不悅。但當張宗昌的壽禮呈上來，不僅曹錕瞪大了雙眼，在場所有軍政界高層無不個個目瞪口呆：八隻光芒四射的純金壽星，令所有達官貴人的壽禮相形見絀。
曹錕立刻眉笑顏開，他自然知道張宗昌如此破費的目的，隨後決定撥給張宗昌一個師的裝備。張宗昌如願以償，趕緊四處召集人馬，但由於從前部隊大多被收編，無法再將他們聚集到自己身邊，所以這次招兵很費了些時日。
張宗昌本以為裝備的事不會有變動，卻不料在他招兵買馬的這段時間裡，他的老鄉吳佩孚得知此事後從中阻撓，使他即將到手的一師人馬的裝備泡湯，20萬軍餉打了水漂。
「此處不留爺，自有留爺處！」張宗昌氣憤之餘，決定投靠奉系張作霖。離京之前，與張作霖關係甚好的焦子靜為張宗昌寫了一封推薦信，並叮囑他：「雨亭（張作霖字）身邊多小人，切記此信要當面交給他。」
張作霖對張宗昌早有耳聞，由於張宗昌有著東北人的豪爽，張作霖對他很有好感，加上焦子靜的推薦，初次見面，兩人相談十分投機，張作霖當即對張宗昌說：「你先到楊總參議（楊宇霆）那裡出任個高參，過後我會再給你別的委派。」
隨即，張宗昌被安排住進奉天大北關榆林胡同的一座公寓，他帶來的親信舊部一二百人分散住在附近，由軍需處按各人原來的軍階發餉。
安頓好張宗昌與他的隨員，張作霖即設宴款待張宗昌。作陪的除張作霖的心腹楊宇霆外，還特地請來遼源鎮守使張海鵬。之所以請來張海鵬，一則一筆寫不出兩個「張」字，二則張海鵬與張宗昌同是山東萊陽人，在張作霖看來，自然是老鄉見老鄉，兩眼淚汪汪。
事實看起來也正是如此，宴席上張海鵬對張宗昌親熱至極，令張宗昌覺得這奉天真是來對了。然而就在張宗昌出恭之時，張海鵬卻悄悄對張作霖和楊宇霆說：「此人我最知底，萬萬不能重用！」接著大肆渲染了張宗昌此前的種種「劣跡」。楊宇霆本來嫉賢妒能，生怕張作霖重用他人，也以「外來人不可靠」為由予以抵制。如此一來，張作霖對張宗昌的熱情減淡了許多，並放棄委任他重職的想法。
於是，張宗昌在奉天左等右盼，也沒得到其他委任，便決定主動爭取。1922年春節來臨之際，張宗昌帶著厚禮到張府看望張作霖。他所謂的厚禮，其實與其他人的禮品沒什麼兩樣，無非就是新鮮水果、珠寶綢緞，所不同的是禮品的包裝。別人的禮品都有精美的外包裝，唯獨張宗昌的禮品裝在兩隻抬筐里，一隻盛水果，一隻盛珠寶綢緞。
張宗昌也不用隨從下人，而是親自提著抬筐，一手一隻，走進了張府大門。當張府下人們看到張宗昌將兩隻抬筐擺到客廳里的時候，都被這寒磣的抬筐弄糊塗了，繼而竊竊私語，然後是一陣陣譏笑。張作霖雖出身綠林，卻也是粗中有細，明白張宗昌此舉的寓意，是表示願為他效力，但需付以扁擔——權柄。
想到張宗昌大大咧咧一介武夫，竟能想出這樣的點子，真是難為他了。春節一過，張作霖便給了張宗昌一個任命。沒想到這個任命卻讓張宗昌大跌眼鏡，原來張作霖任命張宗昌這個師長級軍官為憲兵營長。張宗昌背後大發牢騷：「我張效坤從進關那天起，一出山就是團長，就算不給師長、旅長，起碼也要給個團長乾乾吧？如今費盡心思竟然弄了個營長，真是丟盡顏面，不幹了不幹了！」
同張宗昌一起來奉天的許錕趕緊好言相勸：「人在屋檐下，不得不低頭，況且咱們現在要兵沒兵，要錢沒錢，不幹了能去哪兒？在這兒起碼有人養著，剩下的，就靠咱們努力爭取吧。」張宗昌想想有道理，只好委屈地當了這個憲兵營長。
張宗昌舊部程國瑞、祝仞千聽說張宗昌投靠了奉張，千里迢迢出關前來投奔。緊接著，受陳光遠排擠的褚玉璞也來到奉天，進到憲兵營，雙膝跪在張宗昌面前表示懺悔。這時，有人小聲提醒張宗昌不要收留褚玉璞，以免再遭暗算，張宗昌卻不以為然，雙手扶起褚玉璞，對周圍人說：「不是有句話，叫『浪子回頭金不換』麼，如今蘊山（褚玉璞字）回頭了，大家還是好兄弟，以前的事誰都不准再提。」
於是，張宗昌帶著他的好兄弟，在憲兵營里養精蓄銳，伺機再起。
1922年4月，直奉大戰爆發，張宗昌投靠奉系之後第一次有了任務，被任命為蘇魯別動隊司令，率部深入直軍後方，即徐州、海州一帶，騷擾直軍後方，切斷津浦鐵路，以達成兩面夾擊直軍的態勢。
這一差事是費力不討好的，路途遙遠且艱險，稍有不慎便會一去不復返。即便歷盡艱險取得成功，頭功仍屬於正面戰場。為了鼓勵張宗昌，張作霖允諾戰勝直軍後，將山東劃給他做地盤。張宗昌信以為真，立刻打起精神，向山東進軍。
張宗昌沒有受到什麼阻礙，便來到蘇魯邊境的大興鎮，這裡官兵控制較弱，張宗昌因此放鬆警惕，開始憧憬未來。他對部下說：「等打敗了吳佩孚，我就是山東督理了，到時，競武（程國瑞字）就當登州鎮守使，蘊山做臨沂鎮守使……」
然而，就在張宗昌及其部下做美夢時，大興鎮已被江蘇省贛榆縣縣長王小辮率兵悄悄包圍，好在王小辮只有400人，張宗昌部不僅順利突圍，還調過頭來將王小辮包圍，打得王小辮部落花流水。
張宗昌見好就收，打敗王小辮即率部向郯城方向進發，走著走著，他發現王小辮重整隊伍又跟了上來，便加快腳步，王小辮見張宗昌跑得快自己追不上，也就放棄了。出了大興鎮，張宗昌才得知，正面戰場的奉軍已潰敗，吳佩孚命蘇、魯、津駐軍截擊張宗昌，張宗昌的別動隊一共千餘人，根本不是對手。面對圍追堵截的直軍，張宗昌的部下各自逃命，張宗昌僅帶兩名親信逃到青島，後乘船返回奉天。
抵達奉天后，張宗昌又成了光杆司令，到帥府面見張作霖的時候心裡極其忐忑，還沒進門就遠遠看到站在張作霖身邊的楊宇霆，心裡暗叫不妙。果然楊宇霆冷著臉蔑視地看著張宗昌，張宗昌一腳門裡一腳門外時就開始下跪，對張作霖說：「效坤不才，有辱使命，請大帥賜我一死，來生還為大帥效力。」
張作霖自然明白張宗昌的失敗是大勢所趨，連忙擺擺手讓他起來說話。張宗昌見張作霖無意怪罪自己，大大鬆了口氣，又抱拳說：「聽說高、盧叛亂，我願率兵平定叛亂，將功贖罪。」
原來奉軍在關內前線失利的時候，自家後院起火。其「火」由非奉系的原吉林督軍孟恩遠引起。孟恩遠於1919年被張作霖免職，其婿吉林省第一師長高士儐同時去職，其下屬盧永貴做了山里匪首。直奉大戰爆發前，吳佩孚看到高士儐可以利用，便委任他為吉林討逆軍總司令，盧永貴為副總司令。直奉大戰爆發後，高、盧趁亂自中東鐵路終點綏芬河向哈爾濱進軍。
如今張作霖從關內敗退，兵疲將憊，一時找不到合適人選前去平定高、盧叛亂，張宗昌自告奮勇，正好解了張作霖的燃眉之急。因為張宗昌地理熟悉，又有股子衝鋒陷陣的猛勁，張作霖覺得勝算把握極大，就算敗了奉軍也沒什麼損失，於是對張宗昌說：
「你去平亂可以，只是沒有軍隊給你。」
「我用原先舊部幾百人就行，但請大帥撥給一門山炮，再電告黑龍江當局，說張宗昌率四個師前去平亂，請準備充足給養。」
張作霖一一答應，此後另外撥給張宗昌步槍200支，短槍若干。於是，張宗昌召集起舊部300餘人，向哈爾濱進軍。為了壯大聲勢，張宗昌令他的部隊登上開往哈爾濱的火車後，全部擠在窗口和車門處，讓不知內情的人以為張宗昌人馬眾多，張宗昌還做了一面印有「奉天陸軍第一師」的大旗，插在火車頭上。一路上，火車每到大站必停，張宗昌的親信們便會下車招募士兵，到達哈爾濱時，張宗昌的隊伍已經增加至1000餘人。
兵力有了，武器遠遠不夠，張宗昌只好向黑龍江督軍吳俊升尋求武器支援。吳俊升雖然生在東北，但祖籍山東，和張宗昌算是半個老鄉，張宗昌知道吳俊升愛馬，特意從奉天購得兩匹良馬帶來，取悅吳俊升。而吳俊升考慮到高、盧叛亂會威脅到他在黑龍江的統治，如今不用自己出兵，只需給張宗昌提供武器便可解除危機，實在划算，於是大方地撥給張宗昌300支鉛彈子步槍，三挺重機槍，山炮一門，子彈以及糧草給養若干。
這次兩門大炮幫了張宗昌大忙，張宗昌與盧永貴的部隊在中東路九戰附近相遇，盧軍兵力明顯在張宗昌之上，又有火車源源不斷運送軍需物資，火力防守嚴密，一時難分勝負。正在雙方激戰中，忽見對方一列軍用火車自東呼嘯而來，張宗昌立刻大喊：「開炮！」
這支剛剛拼湊起來的部隊大多沒上過戰場，聽張宗昌喊過之後，幾名炮兵才明白怎麼回事，趕緊開炮，竟然兩炮將火車打翻了。盧軍官兵也是烏合之眾，哪裡見過這麼厲害的大炮，一時陣腳大亂。加上盧軍中多是在沿途召集起來的農民、工人，其中不乏山東人，甚至有些人曾跟隨張宗昌修過鐵路，受過張宗昌恩惠，如今見張宗昌聲勢浩大，有的倒戈，有的則嚇得四處逃竄，戰場上一片混亂。高、盧見大勢已去，只好撤退。
張宗昌乘勝追擊，接下來連破八站、七站、六站、五站，擊潰高、盧全部據點，這才給張作霖發去捷報。張作霖沒想到張宗昌帶著300人的雜牌軍出發，竟能在如此短的時間內平定高、盧叛亂，遂任命張宗昌為綏寧鎮守使，兼吉林防軍第三混成旅旅長和中東鐵路護路軍副司令。