張宗昌豈會滿足於一旅兵力，如今有了正式名分，便開始四處招兵，一方面在東北設立新兵招募機構，大量招募在東北的山東人從軍；一方面派人到山東挖掘兵源。1922年冬，俄國紅軍進攻海參崴，海參崴的白軍不敵，紛紛向中俄邊境潰退。這些白俄軍武器精良，被張宗昌看中。在得到張作霖的應允後，張宗昌給了白俄軍一筆錢，獲得6000支水連珠七七步槍，48挺機關槍，13門七七山、陸炮以及其它槍枝彈藥、通信器材等等，並且收編了500名白俄兵。
張宗昌對這支白俄軍極其寵愛，當時中國士兵只吃高粱面就鹹菜或菜湯，白俄士兵卻每天都是牛肉麵包，白俄軍官更是大酒大肉，極其奢華。當時許多中國人向白俄士兵開玩笑問：「你爸爸是誰？」白俄士兵均回答：「我爸爸是張宗昌。」作戰時友軍向白俄兵問口令，白俄兵也只會說：「張宗昌的老毛子。」可見這些白俄兵心中只有張宗昌。
由於張宗昌的個性作風與這些驍勇善戰但紀律散蕩的白俄兵不謀而合，白俄兵對張宗昌惟命是從，即使上刀山下火海也在所不辭。有了這支精銳部隊與先進的武器裝備，張宗昌的部隊如虎添翼。
第三混成旅編成後，張宗昌的總兵力已超過一萬人。由於嚴重超員，單靠張作霖撥給的糧餉遠遠不能維持，張宗昌從第二年開始在轄區大量開墾荒地，以種糧為名大量種植鴉片，不僅解決了糧餉問題，而且屬下大多數軍官以及張宗昌本人都因此富得流油。
由於張宗昌一舉平定高盧叛亂，在張作霖心目中地位倍增，如今又是實力大增，令楊宇霆、張海鵬等人氣得眼紅，他們看不慣張宗昌一個外來人在他們的土地上耀武揚威，更不能容忍張宗昌與他們並駕齊驅，屢次在張作霖面前詆毀張宗昌，說張宗昌「在綏芬河一帶遍種鴉片，搞得百姓赤貧，屍骨成山。不出幾年，那裡將無可以禦敵之兵」。其目的就是勸張作霖遣散張宗昌這支隊伍。
張作霖對張宗昌種植鴉片一事早有耳聞，但並未在意，如今聽楊宇霆提到「不出幾年，那裡將無可以禦敵之兵」，一下子提起警覺，官兵都成了大菸鬼，還談什麼禦敵呢！適逢1923年奉系陸軍在懷德舉行秋操，張宗昌的吉林防軍第三混成旅也在檢閱範圍內，楊宇霆等奉系嫡系人士極力主張通過這次秋操將張宗昌趕走，張作霖不置可否，對校閱委員說：「每年花一百多萬，就為了養這群種鴉片煙的雜牌軍，太不像話，你們若是看著他們不行，就把他們遣散好了。」
張宗昌雖不知張作霖對他態度的變化，但他清楚這次秋操的重要性，他要好好表現，讓奉系的人對他刮目相看。
檢閱分為三部分，分別是檢閱軍隊裝備、基本技能和野外攻防能力。負責檢閱裝備的是張學良和李景林。張學良見張宗昌軍隊中竟有500多部電報機，驚訝地問：
「這是從哪兒弄來的？」
「白俄軍送的。」張宗昌回答。
「那這些田瓜式手榴彈呢？」
「這是買的，兩塊大洋一個。」
張學良對張宗昌搞了這麼多先進裝備非常吃驚和讚賞，對張宗昌的豪爽與才幹更是留下一個好印象。於是，在張學良的堅持下，張宗昌順利通過第一項檢閱。
張宗昌部隊的基本技能訓練都是由許錕負責，許錕是教育團教官，訓練軍隊是行家裡手，無論平時訓練還是表演，都做得嚴格規範，一絲不苟，使第二項檢閱順利過關。
第三項檢閱內容是最困難的，而負責該項檢查的是郭松齡。郭松齡對張宗昌成見更深，對他百般刁難。檢閱開始，首先由張宗昌部渡河攻擊對岸的李景林部。此時正值深秋，關外已經非常寒冷，溫度在攝氏零度左右，河水冰冷刺骨，士兵們衝到河邊後，遲疑著不肯下水。程國瑞一看急了，照著一個在河邊發愣的士兵「嘭」的就是一槍，接著率先跳下河去。而張宗昌與參謀長王翰鳴就在後邊舉槍而立，士兵們見狀哪裡還敢怠慢，一個個爭先恐後往水裡跳，紅著眼拼命地向對岸撲去。
上岸後，張宗昌部叫喊著殺進李景林的陣地，李景林部早就被張宗昌部的氣勢嚇倒，很快潰敗而逃。占領了李景林部陣地，張宗昌部士氣愈發高漲。豈料，衝鋒號響起後，前面一片收割後的高粱地讓張宗昌部大遭其殃。
本來乘勝追擊是比較順利的演習，但追到一片收割後的高粱地後，高粱茬子堅挺地戳在地面上，偏偏下過一場大雪，數尺深的大雪將所有高粱茬子覆蓋，鋒利的茬子尖隱藏在白雪下面。士兵們衝進高粱地，踩在尖銳的茬子尖上，頓時響起一片「哇哇」慘叫。偏偏又傳來「原地臥倒」的號令，這一臥，所有人都趴在了高粱茬子上，慘叫聲此起彼伏。如此奔跑、臥倒反覆多次，士兵們個個落得渾身是傷。
受此虐待，張宗昌心裡非常氣憤。休息時，張宗昌和參謀長王翰鳴等人到附近的土屋裡暫避風雪，張宗昌拿出燒酒，一邊喝一邊大發牢騷：「他媽的，這是哪個龜孫子的計劃，把我們害成這樣！」
這時郭松齡推門而入，怒視著張宗昌問：「你罵誰？」
張宗昌愣了一下，喝口燒酒說：「我沒罵誰，這是我的口頭語。」
郭松齡大發雷霆，怒氣沖沖罵道：「我X你媽！這也是我的口頭語。」
張宗昌被激怒，雙眼瞪得溜圓，臉色由紅到黑，看上去已忍無可忍。他扔下燒酒瓶子，一躍而起，一步跨到郭松齡跟前。大家都為張宗昌捏了把汗，因為他一旦動手或者開槍，不僅他本人將大禍臨頭，就是他手下這萬把人馬也將後果不堪設想。
就在這一瞬間，張宗昌忽然換上一副笑臉，對郭松齡說：「郭二大爺，你X俺媽，你就是俺的親爸爸，還有什麼說的？」
郭松齡確實無話可說，只好拂袖而去。
事後，在李景林的勸說下，張宗昌和郭松齡表面上握手言和，張宗昌、郭松齡、李景林還和張學良結拜為兄弟，決定以後同心協力，為奉系效力。但郭松齡事後卻說：「和效坤那小子結拜，並非我本意。」由此可見，兩人矛盾並未消除。
張作霖對張宗昌此次表現非常讚賞，認為張宗昌的部隊講義氣，能打硬仗，具有正規軍所沒有的氣魄，從此將張宗昌部視為親兵，不僅補發了張部四個月的軍餉，還提供了大量槍枝、軍需品，並將其番號改為奉軍陸軍第三混成旅。
1924年9月15日，第二次直奉大戰爆發，張作霖自任鎮威軍總司令，率22萬大軍向九門口、山海關、熱河撲來。張宗昌充當先鋒軍，首先進軍熱河地區。由於此地是直軍防禦最為薄弱之處，趁著直軍援軍未到，張宗昌順利而迅速地完成使命，為奉軍在此次戰爭中開了個好頭，並因功被提升為奉天暫編第二師師長。
接下來，張宗昌繼續南下，向長城冷口方向前進，於10月初在玉麟山遭遇直系董政國部的阻攔。玉麟山地勢險要，易守難攻，董政國部又是直軍中精銳部隊，士兵對戰法都有研究，顯然這是一場硬仗。好在張宗昌部實力雄厚，不僅擁有王翰鳴等一批優秀參謀人員，還有日本軍事顧問為他出謀劃策。加上張宗昌的武器先進，擁有13門七七山陸炮、一門七五山炮、20門八二迫擊炮以及幾門土炮等。憑藉這些，張宗昌與董政國部激戰十多個晝夜，終於攻克玉麟山。其間，參謀長王翰鳴在箭不容發之際，以一紙密令調兵解除後路危機，為玉麟山之戰的最後勝利奠定了基礎。
下一個目標就是冷口了，此地位於直軍後方，若能攻下此地，便能對直軍形成前後夾擊之勢。張宗昌率部急行軍四五日，已經餓得前胸貼後背，此時正好看到幾片羊群，立刻撲上去，一通宰殺烤熟，接著便是狼吞虎咽。
此時董政國部已搶先在冷口構築了縱深七八里的防禦工事，最前面是地雷區，接著是鹿寨、鐵絲網，後面是外壕、蓋溝，加上長城高不可攀，不可能強攻，一時間張宗昌的參謀都默默無語地吃著羊肉，思考著如何智取。
張宗昌突然想到什麼，他看看手裡的羊腿，又朝著羊群眨巴眨巴眼睛，興奮地說：「有辦法了！」接著叫來幾名羊倌問：「從現在起，我們不再吃你們的羊，你們把我的部隊送過長城，我就讓你們帶著剩下的羊回家，好不好？」羊倌兒們趕緊點點頭，張宗昌見他們答應，咧著嘴笑起來。
於是，在幾名羊倌的帶領下，程國瑞的兩個營從冷口西邊偷越長城，於夜裡偷襲董政國部駐防的建昌營，董政國沒有想到是張宗昌部越過長城偷襲，以為是正面戰場上的奉軍主力從山海關方向衝殺過來，倉皇向西南逃去，張宗昌智取冷口成功。
第二天天一亮，張宗昌部便登上長城，白俄軍們大多第一次見到長城，嘰里呱啦說個不停，還間雜地發出讚嘆聲，白俄軍問張宗昌：「長城是什麼時候建的，為什麼而建？」張宗昌眨眨眼，支吾道：「唔，這個，什麼時候建的……參謀長，參謀長呢？」王翰鳴聽到張宗昌的聲音趕緊跑了來，這才解答了白俄軍的疑問。
攻下冷口後，張宗昌又謀劃攻占灤州。10月23日，馮玉祥倒戈回京，發動「北京政變」，吳佩孚回京鎮壓，造成前線軍心動搖。10月27日，張宗昌的部隊搶占灤州車站，切斷路軌後分頭截擊直軍。此時直軍已全線潰敗，張宗昌幾乎不費一槍一彈便占領灤州，並繳獲大批戰利品，發了一筆小財。
此間頗耐人尋味的是，當部隊占領車站後，張宗昌走進直軍的電話室，正巧電話鈴聲大作，張宗昌隨手拿起耳機，問：
「你是哪裡？」
「總指揮部。」
對方所說的自然是直軍的總指揮部，但張宗昌已經聽出聲音很耳熟，又問：
「你是哪位？」
「我是李參謀長。」
果然不出所料，直軍總司令彭壽莘的參謀長，正是張宗昌任第一師師長駐紮江西時的參謀長李藻麟。張宗昌在江西失敗時，李投身於直系，當了彭壽莘的參謀長，正是冷口戰役中指揮彭部對張軍作戰之人。張宗昌饒有興趣地說：
「你是李伯仁吧？」
「是！」對方很乾脆地回答，又問：「你是誰，現在哪裡？」
「我是張宗昌，現在灤州車站。」
這個回答，等於告訴李藻麟，直軍已經兵敗撤退，奉軍已經占據灤州。尤其張宗昌是李的老上司，令李十分尷尬，隨後掛斷了電話。
張宗昌一直認為李藻麟是個人才，冷口之戰後即指示參謀長王翰鳴：「到天津後，你設法找到李伯仁，一定把他拉到我們這個陣營里來。」
王翰鳴理解張宗昌求賢若渴，不念舊惡，但身邊很多人持反對意見，認為張宗昌不該如此寬厚大度。後來王翰鳴派人去北京找到李藻麟，說明來意，李藻麟懷著愧疚不安的心情來到天津，面見張宗昌，張宗昌即任命他為隨軍參謀長。李藻麟從此忠心耿耿為張宗昌出謀劃策，立下了汗馬功勞。
占領灤州後，張宗昌揮兵向南追擊，攻克蘆台後，經昌黎、軍糧城，直抵天津。其間，張宗昌不僅一口氣接收了直軍彭壽莘、董政國兩部共六七萬人，而且沿途大量接收直軍其他投降部隊及散兵游勇，一時間實力大增，控制天津後，張宗昌的部隊已達十萬人之多。