在北洋軍閥中，張宗昌的情況可謂獨一無二。首先他的發跡方式與眾不同，他既沒有進過武備學堂，更沒有讀過日本士官學校，甚至不曾投身行伍。很多人認為他土匪出身，但他卻不曾占山為王或落草為寇；其次，在他發跡後很長一段時間裡，由於沒有地盤，他的隊伍甚至無處領餉。由於四處碰壁，他幾度成為光杆司令，幾度東山再起。總算一度修成「正果」——成為了威震一方的封疆大吏：山東督辦。
這一切，開始於1911年12月一個特殊的日子。
這天下午，在海參崴華商總會附近的金角旅館裡，革命黨人李征五從華商總會四樓開完會，剛剛走進自己住宿的房間，便有下人來報，說華商總會商團團長張宗昌求見。一聽是華商總會的人，李征五忙說：「請進！」
下人剛剛轉身離去，便有一個身高六尺，塊頭碩大的年輕人走進來，未曾開口便「撲通」一聲雙膝跪地，大聲說：「張效坤拜見五爺！」
李征五見張宗昌行此跪拜大禮，趕忙起身將他扶起來，連連說：「效坤弟不必見外。」
革命黨人本不興這套舊禮節，但李征五雖參加了革命黨，卻也是舊上海的青幫頭子，很是看重幫會禮節。因此張宗昌這一拜，令李征五倍感親切，忙問張宗昌有什麼事。
「我想參加革命軍！」張宗昌大大咧咧地說。
「好！好！」李征五連連說，「不過，你是想一個人參加，還是……」
「我可以拉起一支四五百人的隊伍。」張宗昌直接說。
「你能召集起那麼多人？」
「沒問題！」張宗昌拍著胸脯說。
張宗昌來自山東掖縣祝家莊，由於家貧，15歲時開始闖關東，在碼頭上扛過大包，在賭場裡做過守門看管，在撫順下過煤窯，在俄國人開的賭場裡當過門衛，後來帶著一幫山東老鄉到綏芬河一帶給俄國人修鐵路。由於他會俄語，又身材魁梧肯賣力氣，能擔責任，不僅在工友中人緣好，也得到俄國工程師的賞識，被提拔為工長，開始單獨包工修路。他善待工友，樂善好施，有一次一個老鄉家中失火找他接濟，他一甩手就將一個月的薪水都給了老鄉，當時工友中流傳著「只要跟著張宗昌，遇有困難不用慌」的順口溜。
但是，張宗昌並不滿足於僅僅做個包工頭，1904年日俄戰爭爆發後，他召集手下100多名民工，又招收了一些馬賊，日夜兼程趕到瀋陽，面見俄國統率，被任命為助戰別動隊統領，他帶來的民工與馬賊也都成為別動隊隊員，冒著槍林彈雨為俄國軍隊運輸輜重，或者參加外圍戰鬥。俄國人在東北失勢後，張宗昌帶著幾名親信來到海參崴，在俄國人的推薦下做了華商總會商團團長，即華商會的保安頭目。
從此，張宗昌利用自身有利條件，廣交朋友，對老鄉更是慷慨相助，過去綏芬河舊部以及別動隊舊部紛紛前來投靠，他都給予照應。而他就任商團團長後，防區從未出現過閃失，深受華商總會會長的信任，加上他與俄國軍警親密合作，勢力越來越大，當地一般中小商人、走販都要託庇於他，不久他便成為海參崴一帶中國黑社會中炙手可熱的人物。然而，張宗昌不滿足於黑社會這種不見天日的勾當，在四處尋找名正言順飛黃騰達的機會。就在這個時候，南方革命黨招兵買馬來到海參崴，張宗昌聞訊後，覺得這是一個名正言順改頭換面的機會。但革命黨人的首選目標是頗具影響力的馬賊劉彈子一夥，於是，張宗昌決定捷足先登，立刻趕來拜見李征五。
講完了自己的身世，張宗昌強調說：「我帶過兵，打過仗，騎馬射擊樣樣精通，願投到五爺門下，為革命出力！」
李征五沒想到這個看起來不過30歲的年輕人竟有如此豐富的閱歷，當下答應了張宗昌的要求，然後問：「你知道什麼是革命，什麼是三民主義嗎？」
張宗昌回答不上五爺的問題，只好實話實說：「俺只念過一年私塾，大道理懂得少，但俺知道服從命令，效忠上司。一旦參加革命，絕不在乎身家性命，手下部屬大多參加過日俄戰爭，拉上戰場都是不怕死的角色。」
見張宗昌胸無城府，說話直來直去，而且擲地有聲，李征五心裡很高興，又交代了一些需注意的事情，讓張宗昌回去組織隊伍。
回到華商總會，張宗昌立刻和幾名親信商議具體措施，然後分頭行動，很快便拉起一支四百多人的隊伍。當時武昌起義在海參崴的華商中震動很大，很多華商都想參加或者支持國內革命，聽說張宗昌將率領隊伍回國參加革命，華商總會與華商私人紛紛捐款、捐贈武器，為張宗昌拉起的這支隊伍奠定了物質基礎。
然而，張宗昌此行卻冒著極大「風險」，儘管李征五同意他帶隊回國參加革命，但最早前來聯絡招兵買馬的張西曼卻持不同意見，張西曼堅持與馬賊劉彈子簽訂協議書，許給劉彈子回國後擔任上海光復軍騎兵團團長職務，對張宗昌則沒有任何承諾。
為了到上海後能夠爭得一席之地，在南下上海途中，張宗昌在李征五等人面前極力表現，一方面在船上發表演說，陳述回國革命之重要性，號召屬下破釜沉舟，置生死於度外；一方面嚴格要求屬下遵守紀律，令船上華、俄員工大為讚賞。而劉彈子的隊伍則完全是一副土匪做派，不僅買東西不付錢，而且酗酒猜拳耍酒瘋，令船上華、俄員工大為驚駭。
到上海後，李征五在面見上海都督陳其美時，對張宗昌的部隊大加讚賞。陳其美隨後傳見張宗昌，張宗昌表現得忠心耿耿，令陳其美改變初衷，在將招來的兵馬編為上海光復軍騎兵團的同時，任命張宗昌為團長，而任命劉彈子為營長。
劉彈子是有約在先，在革命黨允諾團長職務並簽有協議的情況下，才出山南下的。如今只當個營長，心裡憤憤不平，又氣又悔，想要返回海參崴繼續做馬賊，可俄國人早就對他們這伙馬賊深惡痛絕，如今見他們自動撤離了，隨即在碼頭港口布下便衣軍警，嚴加防範，禁止他們返回。劉彈子派人給留在海參崴的張西曼送信，指責革命黨人言而無信，誘騙自己下山，張西曼得知後立即給陳其美等人發去信函，請他們遵守協議，任劉彈子為團長。但因路途遙遠，等這封信送到陳其美手中，早已時過境遷。劉彈子如蛟龍失水，困於沙灘，不久抑鬱而終。
騎兵團編組之後，換上正式陸軍服裝，駐紮上海閘北。當時上海光復不久，秩序混亂，張宗昌率部晝夜巡邏，負責閘北治安。南北議和後，上海光復軍被改編，張宗昌的部隊被編為江蘇陸軍第三師騎兵團，駐守南京附近。
1913年7月，二次革命爆發，臨時總統袁世凱發兵鎮壓，派直隸都督馮國璋和「辮帥」張勳向南京進攻。張宗昌奉命率騎兵團作為先頭部隊，向徐州進軍，迎擊北軍。在徐州以南的二郎山，張宗昌的騎兵團與張勳的「辮子軍」交戰。
這是張宗昌參加革命軍以來第一次作戰，正如張宗昌對李征五所說，一旦參加革命，絕不在乎身家性命，他的屬下拉上戰場都是不怕死的角色，張宗昌率部衝鋒陷陣，敢打敢沖，部隊士氣高漲，僅半天功夫，就將「辮子軍」趕出其陣地100多里。然而，張宗昌雖作戰勇猛，卻缺少了些智謀，不顧後果地進攻，犯了孤軍深入的兵家大忌，結果被「辮子軍」團團包圍，加上其部隊缺少正規訓練，一時間四處逃竄，張宗昌也只能棄兵逃跑。
張宗昌率殘部突出重圍後，首先去找陸軍第三師師長冷御秋。但冷御秋見張宗昌的先頭部隊被擊潰，早已被「辮子軍」嚇得望風而逃。他也想過投奔李烈鈞，但7月25日湖口失守後，傳來李烈鈞正在後撤的消息。7月29日，黃興離開南京去了日本，第三師師長冷御秋聞訊隨即棄軍出走，兩名旅長也隨即不辭而別，作為討袁主力的第三師群龍無首。張宗昌參加革命本來就是陰差陽錯，時勢使然，如今見革命軍前途渺茫，自然要尋找新的靠山，而北洋軍閥勢頭正盛，於是決定投靠北洋軍。
張宗昌脫下軍裝，換上長袍馬褂，來到徐州張勳的司令部，見到張勳，便「撲通」一聲跪倒在地上，對張勳說：「大帥，我是來投死的。」
他知道張勳一心效忠清廷，所以特意著長袍，行跪拜大禮以換取張勳好感。張勳果然吃這一套，擺擺手讓張宗昌起來，然後說：「你的騎兵團殺了我那麼多人，你到我這裡來自然是投死。不過，我若是留你性命呢？」
張宗昌趕緊回答：「張效坤一定效忠辮帥，萬死不辭。」張勳點點頭，收下張宗昌。但張宗昌畢竟是從革命黨陣營投靠過來的，又殺過「辮子軍」，張勳在短時間內不敢重用他，所以他整日無所事事，心灰意懶。
不久馮國璋到徐州開會，聽說張宗昌在此處未被安置，隨即向張勳提出見見張宗昌。張宗昌聞訊後大喜，立即樂顛顛地跑去拜見馮國璋，一見面便恭恭敬敬地說：「大人，我是來投生的。」
當時在場多人，包括張勳，聞聽此言無不驚訝錯愕，唯有馮國璋淡然一笑，不露聲色地點了點頭。
原來，袁世凱的家庭女教師，即二次革命結束後馮國璋迎娶的夫人周砥，有個表叔叫李重祿，與張宗昌是好朋友。二次革命爆發後，李重祿曾代表馮國璋策動張宗昌倒戈，張宗昌雖然沒有答應，但一直與李重祿保持聯絡。張宗昌明白，憑藉這層關係，馮國璋一定不會難為他。而他所說的「投生」，就是表明他今後將竭力為馮國璋效力，加上他身強體壯，說話爽朗，無不獲得馮國璋的好感。
果然，馮國璋向張勳要走了張宗昌。