1932年2月，東北四省中已有三省首腦投靠日本人，日軍見時機成熟，在長春建立偽滿洲國，並著手準備對熱河省主席湯玉麟進行收買拉攏。此時，熱河是東北軍的最後陣地，守住熱河，即守住了關內外之間大門，進可收失地，退可保華北，為了保住熱河，張學良於1932年夏在北平召開華北各省高級將領軍事會議，張宗昌、東北邊防司令長官張作相、山東省政府主席韓復榘等人均到場。張學良有意令張作相負責保衛熱河，但張作相手中無軍隊，便令張宗昌率駐紮山東的孫殿英部協助張作相，同時讓山東省主席韓復榘負責解決孫殿英部的軍械問題。
韓復榘作為山東省主席，一直密切關注著張宗昌的動向，生怕張宗昌到山東與自己搶地盤。當時韓復榘的老上司馮玉祥正在泰山隱居，兩人經常往來。馮玉祥多次與張宗昌作戰，雖有勝有敗，但對張記恨頗深，他對韓復榘說：「如果張宗昌當上抗日聯軍總司令，他拉著隊伍南下，你在濟南還能呆住嗎？」慫恿韓復榘除掉張宗昌。
馮玉祥之言正是韓復榘之忌，如今張宗昌要重掌孫殿英部，孫殿英本就是張宗昌部下，後被蔣介石收編，這讓韓復榘心中警鈴大作，對張宗昌更加防範和仇視。
實際上，張宗昌並無覬覦山東之想。一方面，蔣介石已統一中國，張宗昌與蔣介石之間素有芥蒂，蔣介石對他的通緝令尚在，絕不會容許他東山再起；另一方面，他兩手空空，既無軍隊也無錢，怎可能妄想回到山東，以卵擊石？加上此時國難當頭，他心無旁騖，只為抗戰。尤其此任務是張學良所派，他更要盡心盡力做好。
張宗昌知道韓復榘對他心存顧慮，在韓復榘赴張府拜訪時，他一再向韓復榘表示：「我這回出山完全為了抗日，絕無覬覦山東地盤的野心。」
韓復榘則裝作相信。為了與張宗昌套近乎，韓復榘拜張母為乾娘，與張宗昌結拜為把兄弟，兩人的關係一下子熱絡起來。張宗昌此時經濟拮据，想到濟南交通銀行曾扣下他的40萬元存款，便問韓復榘能否將其提出，作為孫殿英部開拔費用。韓復榘聽後大喜，正好以此為藉口誘張宗昌赴濟，他說：「小事一樁，但要勞煩效坤兄親自跑一趟濟南，就當是回家鄉看一看吧。」張宗昌不疑有他，當即答應抽空赴濟。
韓復榘回到濟南後不久，即發來電報，請張宗昌赴濟共商抗戰事宜，同時辦理提款。張宗昌感到盛情難卻，決定赴濟。但他身邊的人紛紛提出反對，李藻麟第一個站出來阻止說：「濟南萬萬不能去，韓向方（韓復榘字）詭計多端、心狠手辣，早已把你視作他稱霸山東的障礙，此次約你赴濟，恐怕沒安好心。」
張宗昌的母親也不同意張宗昌前往，求助於在北平居住吳佩孚，以及寓居天津的孫傳芳，請他們勸阻張宗昌。吳佩孚當即來到張府，直言不諱地說：「韓復榘陰險，所以濟南不能去，去了只有死路一條。」
張宗昌是大來大去之人，根本沒想到事情有那麼複雜，他滿不在乎地說：「向方是我兄弟，為什麼要害我呢？」
卻不知馮玉祥和韓復榘此時已經謀劃好除掉張宗昌的計劃，並徵求了蔣介石的同意。蔣介石雖沒想過殺掉張宗昌，但也不反對馮玉祥和韓復榘除掉他。
吳佩孚一連幾次上門勸阻張宗昌，孫傳芳也從天津趕來，張宗昌見眾人勸阻，索性帶上金壽良、劉懷周、程伯容、徐曉樓幾名親信悄悄離開了北平。
一看張宗昌離開了北平，張母立刻給張學良打電話，張學良又打電話聯繫了張宗昌的心腹部下、居住在天津的林憲祖，請他務必阻攔張宗昌。於是，張宗昌抵達天津時，便有林憲祖上車勸阻一幕，但張宗昌卻不耐煩地說：「你跟隨我多年，還不知道我的脾氣，去趟濟南有什麼大驚小怪的。」
林憲祖勸阻不成，趕緊回報張學良。張母得知後氣得直跺腳，想來想去只有一個辦法——讓人立刻給濟南發電，稱：老太太急病速歸。張宗昌是個大孝子，張母知道收到電報後張宗昌一定會立刻返回北平，卻不知能否使張宗昌倖免於難。
9月2日，張宗昌一行人抵達濟南，韓復榘派代表程希賢、石友三前去迎接。在二人的陪同下，張宗昌與韓復榘會面。此時，張宗昌已接到張母來電，雖猜到母親可能是騙他，仍決定次日返回北平，所以一見到韓復榘便進入正題。兩人的會談進行十分順利，當天便商定一切。
9月3日，張宗昌決定乘坐下午6時25分的京浦202次快車離開濟南，中午韓復榘又設宴款待張宗昌。宴席上，石友三對張宗昌隨身攜帶的一支最新式德國造左輪手槍表現出極大興趣，張宗昌二話不說便將手槍贈予石友三，卻不知這正中了韓復榘的圈套。
下午6時許，張宗昌一行人趕到濟南車站，6時22分，張宗昌登上火車，當他回身與送行之人揮手道別時，人群中突然一聲槍響，一顆子彈落到張宗昌身旁的車門框上，張宗昌大叫一聲：「有刺客！」即向車廂內跑去。
殺手緊接著跳上火車，向車廂內追去。張宗昌想拔槍回擊，這才想到手槍已送給了石友三，一時懊惱莫及。張宗昌跳下車，殺手也跟著跳下車，劉懷周帶著幾名衛士緊隨其後。這時，躲在車站暗處的另一名殺手向張宗昌射擊，卻一槍將劉懷周擊斃。
張宗昌仍在奪路而逃，他做夢也不會想到，火車站上到處埋伏著軍隊，他已插翅難飛。當他逃到三站台第七岔道時，被預伏在四周的軍隊用一陣亂槍擊倒在地，其中一顆子彈擊中頭部。
張宗昌倒地後，尚有一絲氣息，其親信金壽良趕到，撫著張宗昌的軀體，一邊哭，一邊上氣不接下氣地吩咐隨從：「快，快給濟南醫院打電話，叫他立即派救護車來！」
然而張宗昌身中數槍，很快便斷氣了。張宗昌的屍體被運送到醫院後，醫生為他取出子彈，纏上紗布，只留出面部。
張宗昌被刺殺的消息很快傳到北平張府，府里上上下下哭聲一片。張家人為張宗昌訂製了價格昂貴的楠木棺材，由張宗昌從前的承啟處處長王金鈺與他的大太太袁書娥等人趕赴濟南，將張宗昌的遺體入殮。他們給張宗昌纏滿紗布的遺體穿上大將軍制服，套上馬靴。又在棺底撒上含有沉香的鋸末，鋪上絲綿，絲綿上覆蓋紫色緞褥，一頭放上緞枕，將張宗昌的遺體移入棺內。張宗昌一隻手握玉器，一隻手握空槍，身上覆蓋紫色緞被，然後才蓋上棺蓋，但沒有釘死，直到張宗昌的遺體運抵北平，張家人見過張宗昌最後一面，才叫人釘上棺蓋。
張家人在香山購置一塊墓地，請來北平負有盛名的永盛槓房為張宗昌料理後事。永盛槓房用48人抬棺，為張宗昌舉行了頗具聲勢的葬禮。張宗昌下葬後，張家人在墓地周圍植滿松柏樹，建起石牌坊，並建造了三間房屋，僱傭當地一對夫婦在此守墓。
張宗昌在濟南車站遇被刺後，韓復榘立刻假惺惺地派人將車站包圍，而兩名殺人兇手（張宗昌並非死在這兩人槍下）根本沒逃，其中一個人高聲喊著：「我是鄭繼成，我是鄭金聲之子，我殺張宗昌，是為父報仇！」
鄭繼成的叔父鄭金聲是馮玉祥的部下，曾被褚玉璞殺害。而鄭繼成從這一刻起，也就變成了鄭金聲的兒子！就算真的是為叔父報仇，張宗昌僅來濟南一天，鄭繼成又如何得知張宗昌離濟的準確時間呢？
這正是馮玉祥與韓復榘的精心策劃，用30萬元的報酬，將鄭繼成變成了鄭金聲之子，也變成了刺殺張宗昌的兇手。是馮玉祥幫韓復榘選定的這個人物，讓他打著替父報仇的名義刺殺張宗昌，以便在事後爭取社會輿論的同情。
而與鄭繼成站在一起的另一名殺手，則是青幫中人陳鳳山。刺殺張宗昌的第一槍，就是陳鳳山射出的，擊斃劉懷周的那一槍是鄭繼成射出的。此次暗殺活動由時任濟南警備司令的程希賢為總指揮，而程希賢與韓復榘都曾是馮玉祥的部下，同是馮玉祥的十三太保之一。
鄭繼成被抓捕前後，大肆宣揚張宗昌的「劣跡」，樹立自己為父報仇的孝子形象和為民除害的光輝形象。他曾發表「殺死國賊為父報仇」、「刺殺張宗昌之經過」等諸多文章，其中編造的張宗昌因被國人唾棄，死後屍體停放火車站，給5000元無人肯抬的這一情節，至今仍被當作事實流傳。
與此同時，一本《鄭繼成為父報仇》的小冊子，將大肆捏造的「劣跡」當做事實扣在張宗昌頭上，使之廣為流傳。韓復榘手下紛紛四處宣揚張宗昌禍魯事實，拒不承認馮、韓二人策劃謀刺案。曾被張宗昌殺害的進步記者胡信之的女兒胡玉華也藉機為父報仇，以輿論攻擊張宗昌，稱：「張宗昌禍魯三年，翻北海之波不足洗其惡，伐南山之竹不足罄其罪……」據說，胡玉華罵張宗昌的文章不下百篇。
正所謂三人成虎，加上韓復榘等人控制著官方輿論，一時間，張宗昌成為人民公敵，他的「劣跡」被各大報紙競相渲染，真相被掩蓋，造假的信息鋪天蓋地，一些過去不曾有過的民謠，如：「也有蔥，也有蒜，鍋里煮著張督辦」，如雨後春筍，應運而生，這些正是張宗昌日後臭名昭著的原因。