回到南京不久，馮國璋便特許張宗昌一個團的番號，令他自行召集人馬，張宗昌感恩戴德，對馮國璋更加惟命是從。革命失敗後，張宗昌曾經的部下都各奔東西，如今他重組軍隊，這些人聞訊立刻前來投奔，很快拉起一支幾百人的隊伍。張宗昌從前的親信程國瑞、祝仞千也在其中，張宗昌還在機緣巧合下得到一名得力部下。
這天，張宗昌正和部下在酒館裡喝酒，突然一人持槍闖進，這人見張宗昌一副軍官打扮，身強體壯，氣勢不凡，趕緊跑過來跪在張宗昌面前，氣喘吁吁地說：「長官救命！後面有清兵追趕，請長官救小的一命！」說完便使勁叩頭。
張宗昌連忙站起身將來人扶起，說：「別急，坐下說話。你叫什麼名字？」來人驚魂未定，回答說：「在下褚玉璞。」張宗昌聽後愣了一下，接著哈哈大笑，他對褚玉璞早有耳聞。此次招兵，還特派親信到附近土匪聚集地招募土匪，聽說褚玉璞手下有近百匪眾，本就有意拉攏，如今他自動送上門來，可見緣分匪淺。
「來來來，坐下吃酒。你只管放心，有事我頂著。」張宗昌讓褚玉璞坐在自己身邊，兩人對飲起來。待追兵來到，張宗昌三言兩語便將他們打發走了。隨後，褚玉璞帶領近百名部下投到張宗昌軍中，從此成為張宗昌手下的主要干將。
8月底，張宗昌率領這支剛剛組編的部隊奉命攻打南京，江蘇戰事結束後，馮國璋改任江蘇都督，張宗昌調任江蘇軍官教育團監理（即團長），後來張宗昌組織陸軍第六混成旅時，其主要力量除部分來自原騎兵團外，大多出自教育團。
張宗昌出任江蘇軍官教育團監理後，日子過得十分舒適，校務交給教育長趙瑞龍負責，自己住在中正街一處寬敞的侯府內，常舉辦堂會，召集學生及閒散舊部觀看，日常開支很大，全部由馮國璋貼補維持。
馮國璋如此厚待張宗昌，主要是看張宗昌為人實誠，打仗勇猛，尤其是效忠上司，日後必有用得著的地方。果然，1916年春天，一項重要任務落到了張宗昌頭上。馮國璋將張宗昌叫到將軍府，一臉嚴肅地說：
「效坤，你到我這裡快三年了，覺得還滿意吧？」
「大人對我恩重如山，若有什麼吩咐儘管開口，就算赴湯蹈火，效坤在所不辭。」
「好，眼下確實有一件棘手的事，袁大總統親自點名由你去辦。依我看，除了你別人怕是也辦不成。」
但當馮國璋說出「那件事」之後，張宗昌卻大吃一驚，而且感到十分為難。馮國璋要他去殺一個人，這個人不是別人，竟是最先將他扶上戰馬的原上海都督陳其美。
原來，陳其美是國民黨在上海的主要領導人，「二次革命」失敗後，仍在上海從事反袁軍事活動，不僅成功炸死袁世凱的忠實部下、上海鎮守使鄭汝成，而且在袁世凱稱帝後，蔡鍔等人在雲南發起反袁的護國運動，陳其美在上海積極響應，使得東南和西南連成一氣，對袁世凱的統治造成巨大威脅，袁世凱對他恨之入骨，必欲除之而後快。馮國璋坐鎮江蘇，也感到來自陳其美的威脅，因此對袁世凱的預謀表示贊同。袁世凱之所以選中張宗昌，正是因為他曾在辛亥革命中被陳其美任命為滬軍團長，因此有機會接近陳其美。
見張宗昌有些猶豫，馮國璋說：「如果你覺得很為難的話，我建議總統另找他人。畢竟你是從革命軍過來的，總之還是會有些感情的。」
馮國璋這話的弦外之音分明就是說張宗昌對北洋軍有二心，其實他心裡完全明白，張宗昌之所以為難，完全因為陳其美是他原來的上司，他知道非用此激將法不能為張宗昌排除顧慮。張宗昌果然上鉤，一聽馮國璋對他有猜忌，立刻拍著胸脯說：「沒有沒有，這個任務就交給我了，我若不能完成使命，任憑大人發落。」
馮國璋滿意地笑了，就注意事項叮囑一番後，拿出70萬元活動經費交給張宗昌。張宗昌回到侯府，對他的親信程國瑞、祝仞千和褚玉璞等人講了這件特殊任務，大家一時面面相覷，默默無語。因為陳其美不僅曾是上海滬軍都督，而且以青幫大亨而著稱，其勢力非尋常人可比，除掉他絕非易事。
終於，程國瑞站出來說：「大哥，這件事就交給小弟代勞吧。」
程國瑞與張宗昌同為山東掖縣人，兩人在海參崴相遇並結為異姓兄弟，張宗昌為人仗義，程國瑞追隨多年並成為其主要干將。但二次革命失敗後，程國瑞離開了張宗昌。其間張宗昌回山東老家省親，特地到幾個親信家中拜訪，不僅對其父母磕頭，並每家贈送三五百元，程國瑞的父母自然也在其中。程國瑞從父母口中得知此事後，甚為感動，所以一聽說張宗昌在馮國璋手下當了團長，便立刻前來投靠。
張宗昌相信程國瑞的能力，當下表示贊同。經過一番準備，1916年春，程國瑞與朱光明、許國霖等人秘密潛往上海，特地開辦了一家鴻豐煤礦公司，以做礦產生意為名，收買了陳其美的部下李海秋、副官宿英武。宿英武與程國瑞同為掖縣老鄉，程國瑞通過他們與陳其美建立了聯繫，謊稱鴻豐煤礦有一塊礦地想抵押給日本人，用以借款，如果陳其美能從中促成此事，將拿出十分之四的借款贊助革命。陳其美此時正缺少革命經費，與程國瑞接觸幾次後，見此人出手闊綽，確是一副做大生意的派頭，在沒做任何調查的情況下，便與程國瑞定於5月18日下午簽訂合同。
是日下午，李海秋帶著程國瑞等人如約來到法租界陳其美的寓所，大家在客廳里落座。就在陳其美準備在合同上簽字的時候，李海秋突然說：「糟糕，忘把合同底稿帶來了，各位稍等，我去去就回。」李海秋說完轉身離去。
按事先約定，等候在門口的兇手以李海秋出門為信號，因此李海秋邁出門口的同時，便有兩名兇手衝進客廳，舉起白朗寧手槍對陳其美連發數槍，陳其美當場殞命。事後，程國瑞等人順利逃走，許國霖與宿英武被法捕房抓獲，監禁數年後獲釋，出獄後投奔了張宗昌。
成功刺殺陳其美後，張宗昌為馮國璋立下一大功勞，從此更得馮國璋寵信。1917年8月，馮國璋入京任代理大總統，任命張宗昌為總統府侍從武官長。
出任了這個類似清廷皇帝衛隊長的職務，張宗昌頓時感到身價倍增，榮耀顯赫。在京的軍政大員、士紳名流等也都對他禮遇有加。但日子一久，張宗昌發現，侍從武官長聽起來好聽，終究是個伺候人的角色，還要注意許多禮節，這讓無拘無束慣了的張宗昌感覺束手束腳，十分難受。更重要的是，這一職務沒有實權，只能指揮幾十名小兵，實在無趣。於是，1918年援湘戰爭即將開始時，張宗昌藉機向馮國璋提出，辭去侍從武官長職務，要求外放。
馮國璋很是不舍，但考慮到張宗昌魯莽不文，帶兵打仗衝鋒陷陣倒是一把好手，不如讓他手握重兵，將來有個什麼變故也好多個幫手，遂給了張宗昌一個少將旅長的職務。但這個旅長卻是個光杆司令，因為北京是國務總理段祺瑞的地盤，總統的人要想從陸軍部得到兵員和裝備是不可能的。馮國璋對張宗昌說：
「效坤啊，你知道我這個總統在北京說話是不算數的，你去江蘇招兵買馬吧，那裡是咱控制的地盤。」
「請總統放心，我一定干出個名堂，報答總統的大恩大德。」張宗昌卻信心十足，當場表態。
張宗昌帶著一幫親信回到南京後，原來的舊部紛紛前來投奔，又任用了一些南京軍官教育團的畢業生與北京陸大畢業學員，士兵除了從徐州蚌埠等地新招募的，還有各舊部帶來的人馬以及以前招撫的綠林匪幫數百人，很快拉起了一支6000多人的隊伍，被編為陸軍第六混成旅，轄三個團，團長分別是賈得臣、王萬金、程國瑞。