人生之路雖然漫長，但關鍵處只有幾步，這幾步將決定人的一生。
段祺瑞一生中最最關鍵的有兩步，第一步是武備學堂操練得到同鄉前輩李鴻章的賞識，第二步是小站練兵得到袁世凱的青睞。
1886年秋季的一天下午，北洋武備學堂的操練場上，炮科操練正待進行，忽然風雨交加，雖說雨不是很大，但是風很大，海上濁浪翻滾，活動靶子在波浪中起伏不定。這樣的天氣絕對會影響操練成績。
可是，所有學員和教官都知道，今天的操練非比尋常，因為有一個大人物——北洋武備學堂的創始人李鴻章，就在山頂上臨時搭起的觀操棚內，用望遠鏡觀看著這場操練。此時，李鴻章的望遠鏡已經瞄準了海上漂浮不定的靶子。
學員們的心情異常緊張，可越是緊張越是難以打出好成績。「轟——轟——轟——」幾聲炮響之後，水花在距離靶船很遠的地方被炸起。接著又是幾炮，情況所差無幾，靶船依舊在海上飄搖。教官變了臉色。
可想而知，山頂觀操的李鴻章早已氣得面色鐵青：「這等水平拉上戰場，豈不是白白送死！」
為了挽回敗局，教官拉出最好的學員：「段芝泉，你上！」
隨著教員的喊聲，一個瘦削青年從隊列中走出。只見他表情堅毅，沉著冷靜，三發大炮打出去，三發三中。教官笑了，練兵場上響起一片熱烈的掌聲。接著，青年被帶到山頂觀操棚。
「你叫什麼名字？哪裡人？」李鴻章打量著這個略帶稚氣的年輕人問。
「報告長官，學生叫段祺瑞，合肥人。」段祺瑞先向李鴻章打了個敬禮，腰板挺得筆直，看上去十分精神。
「很好！很好！」李鴻章連連誇讚。
李鴻章一向惜才愛才，段祺瑞炮打得好，又是一副錚錚鐵骨的軍人模樣，自然心生喜愛，一問又是合肥人，地道的老鄉，心裡更是高興；再問段祺瑞的家庭情況，原來段祺瑞的祖父段佩是淮軍名將劉銘傳麾下的一員驍將，最後官至統領，因功被授榮祿大夫、振威將軍。舊部子弟，自然又多了一層感情上的親近。李鴻章接著又問了段祺瑞一些軍事上的問題，段祺瑞對答如流，令李鴻章十分滿意，當即令手下記下了段祺瑞的名字。
其實，段祺瑞的祖父雖官至統領，但段祺瑞的生活卻充滿坎坷。段祺瑞15歲那年，祖父病逝於軍中，段家家道中落，甚至連段祺瑞讀私塾的錢都付不起。段祺瑞17歲時獨自步行2000里，從合肥趕到山東威海，投靠任管帶的族叔段從德。從軍後第二年，其父段從文從合肥來看他，在返回途中，拿出攜帶不多的銀子，買了些生絲和布，準備以後給兒子成親用。不料，同行的兩人見到這點布和銀子，竟將段從文這名老實巴交的莊稼漢殺死，將他身上的物品洗劫一空。一年後，段祺瑞的母親范氏也因傷心過度去世。一連串的打擊，讓小小年紀的段祺瑞臉上從此失去笑容，取而代之的是與年齡不相稱的冷峻與剛毅。1885年，李鴻章創辦北洋武備學堂，逆境中的段祺瑞以優異的成績考入學堂炮科。
李鴻章欣賞的就是這種軍人的堅強，當1888年清政府選派武備學堂畢業生赴德留學的時候，李鴻章給了這位小老鄉特別的關照。當時赴德學習軍事的名額只有五個，名單報上來後，五人中有三名山東人，兩名安徽人，李鴻章隨手拿起筆，劃掉一名山東人，換上了段祺瑞。
段祺瑞並不知道，他的命運就在李鴻章大筆一揮之間改變，使他由一個普通的武備學堂畢業生，變成了留洋德國的高級軍事人才。段祺瑞於1889年以官費進入柏林軍校，學習兩年的炮兵後，李鴻章出於栽培的目的，又讓他一人留在歐洲聞名的德國克虜伯炮廠實習深造。學成回國後，段祺瑞被派到威海衛港，擔任隨軍武備學堂的炮兵教官。
應該說，留洋是段祺瑞日後升遷基礎，有了這個基礎，才得以作為新軍骨幹被推薦到小站，機緣巧合地得到袁世凱的青睞，從此跟隨袁世凱飛黃騰達，青雲直上。
常言說三十而立，1895年，30歲的段祺瑞奉長輩之命回家完婚。段祺瑞與元配夫人吳氏早年相識於宿遷，由於他一直忙於求學、深造，追求事業有成，將成家之事一拖再拖，直到女方長輩發出最後通牒，才不得不給女方一個交代。
偏偏事有湊巧，段祺瑞請假回家之時，正是袁世凱就任「新建陸軍」督辦到處網羅人才之際，段祺瑞到家第二天，便接到天津小站練兵處發來的電報，通知他已被調往小站，參加編練新軍，並限期報到。
得此消息，段祺瑞興奮異常。由於對西方現代軍事有了較深的了解，段祺瑞對中國舊軍隊的落後與腐敗深惡痛絕，認為只有建立新式軍隊，才是強國之本，因此在威海擔任武備學堂教官，總覺得抑鬱不得志。此前他已得知小站將編練新軍，心中十分嚮往，只是苦於無人引薦。而此次舉薦他到小站練兵的，是武備學堂總辦蔭昌。
如今如願以償，段祺瑞恨不能馬上趕赴小站報到。但是婚未結倘若一走了之，無法向家族長輩和吳氏家長交代。但不走，又將耽誤軍期，違反軍令，這是作為軍人的段祺瑞無論如何不能接受的。
正在為難之際，又一封電報不期而至，這是袁世凱命屬下發來的，大意是讓段祺瑞妥善辦理好婚事，然後再赴小站。袁世凱還特地贈送銀票以示祝賀。看罷電報，段祺瑞感激萬分，沒想到赫赫有名的袁大人竟如此禮賢下士。
辦完婚事，段祺瑞一刻不敢停留，立刻起身北上。不料一到小站，早有一群小站將領在此迎接，而大名鼎鼎的袁世凱袁大人竟然也在迎接隊伍中。段祺瑞真是驚異萬分，誠惶誠恐，急忙行大禮道：「祺瑞不才，怎敢勞大人親迎！」袁世凱卻笑呵呵地拉起段祺瑞，問長問短，沒有一點上司長官的架子。
當晚，袁世凱在營中設宴，特地為段祺瑞接風。席間，兩人聊起對舊軍隊的改造，竟然有諸多相同看法，大有相見恨晚之感。幾天後，段祺瑞在一家酒樓回請小站將領，待到飯後結帳時，酒樓老闆卻說已經記入袁世凱的帳下，讓段祺瑞心中更是充滿感激。想自己何德何能，竟能得到袁世凱如此青睞，與其他將領相比，無非是多留了幾天洋而已。於是暗下決心，一定要盡心盡力效忠袁世凱，以報知遇之恩。
當時小站將領中，許多人出自北洋武備學堂，如曹錕、段芝貴、張懷芝、盧永祥、王占元、陸建章等。而蔭昌為袁世凱推薦的四名新軍骨幹，王士珍、段祺瑞、馮國璋、梁華殿，除梁華殿在一次夜操中失足跌落河中溺死外，其餘三人全部成為袁世凱在軍事方面的得力幹將，就是後來的「北洋三傑」，號稱「王龍」、「段虎」、「馮狗」。
段祺瑞憑藉自己的軍事才幹與對袁世凱的忠心不二，很快成為袁世凱的左膀右臂，並跟隨袁世凱一路升遷。1899年，段祺瑞跟隨袁世凱趕赴山東鎮壓義和團運動，1901年袁世凱升任直隸總督，段祺瑞隨後擔任北洋軍政司參謀處總辦，負責北洋常備軍的編練。後因鎮壓農民起義升為補用道員，加二品銜，被賞戴花翎，加「勇」號。1903年清政府在北京設立練兵處，袁世凱任會辦大臣，段祺瑞出任練兵處軍令司正使，加副都統銜，成為袁世凱的得力助手。1905年袁世凱將北洋軍擴編為「北洋六鎮」，段祺瑞出任其王牌軍第三鎮統制，兼督理北洋各武備學堂。此後，他還擔任過保定軍官學堂總辦，陸軍各學堂督理，會考陸軍留學畢業生主試大臣等職位，因此，北洋軍官多半都是他的門生故吏，他在軍中的影響也越來越大。
1900年段祺瑞的元配夫人吳氏病故，一年後，袁世凱將義女——江西巡撫、都察院左副都御史張芾的孫女張佩蘅嫁給段祺瑞為繼室，從此，二人除了袍澤之誼又多了一層姻親關係。
出於對袁世凱的忠心與崇拜，段祺瑞在生活中經常模仿袁世凱的樣子，如閉目養神，當睜開眼睛時，讓人頓覺雙目炯炯有神，或咄咄逼人，威嚴凜冽。甚至走路姿勢、穿衣打扮，段祺瑞也喜歡模仿袁世凱，尤其袁世凱常戴一頂黑色方頂小帽，與他的五短且發胖身材頗為和諧，而段祺瑞身材瘦削，也戴上一頂同樣的方頂小帽，看上去便有了些不倫不類，甚至怪異好笑。