正所謂共患難容易共富貴難，升任陸軍總長之後，段祺瑞驀然發現，當了大總統的袁世凱對原先的肱骨幹將卻不那麼信任了。矛盾首先在陸軍次長人選上暴露出來，段祺瑞圈定的陸軍次長是他最信任最得力的助手徐樹錚，名單遞上去之後，袁世凱卻沉下了臉。
「又錚（徐樹錚字）面帶煞氣，不是個安分守己的人物，還是換個人吧。」袁世凱看著那份名單說。
「又錚對大總統很忠心，人也能幹，這陸軍次長最適合他。」段祺瑞立刻回應。
但是段祺瑞沒有想到，袁世凱不同意徐樹錚出任陸軍次長，正是因為徐樹錚能幹！徐樹錚不僅才幹超群，而且對段祺瑞忠貞不二，被視為段祺瑞的靈魂。且徐樹錚敢想敢幹，膽量過人，段祺瑞身邊有這麼個重量級人物，令袁世凱心中很不舒服。早前「北洋三傑」勢力相當，能夠相互制約。袁世凱出任大總統後，三足鼎立的局面被打破，王士珍留戀清廷退隱還鄉，馮國璋外調南京，中央軍事大權落到段祺瑞一人手中，袁世凱深知槍桿子裡出政權的道理，怎能將這軍事大權放心地交給別人掌管呢？又怎能讓「段祺瑞的靈魂」出任陸軍次長任由段祺瑞如虎添翼呢？
而段祺瑞一向是軍人做派，性格直率，剛愎自用，職權範圍之內不願受他人掣肘，因此，有關軍隊的編制、調遣、軍官的提拔與降黜，除個別重大事件向袁世凱報告外，一般都擅做主張。而他所提拔之人，大多是親信、部屬和學生，這就更加重了袁世凱對他的猜忌與疑慮。於是，兩人之間有了裂痕。
尤其令袁世凱耿耿於懷的是，徐樹錚一直在陸軍次長的位子上安之若素，他一直想藉故將其開缺，卻始終沒找到機會。有次段祺瑞到中南海公幹，與袁世凱一起沿著湖邊散步。當時氣氛融洽，兩人心情大好，袁世凱認為時機已到，趁機說：
「很多人對陸軍部有意見，都說又錚目高於頂，受不了他那個做派，還是給他換個地方吧？」
一聽袁世凱舊話重提，段祺瑞不由得心頭躥火。段祺瑞歷來脾氣火爆，說一不二，其部下與家人都深有體會。但在袁世凱面前，他不得不有所收斂，但也僅僅是控制著大為光火的程度而已。
「又錚是有些個性，可這個人有能力，給我做助手我放心，省心。若是換個用著不順手的，倒不如連我一起撤了。」
甩出這幾句硬邦邦的話後，段祺瑞轉身走了。袁世凱被晾在湖邊，心裡恨得直咬牙：「好！終究有一天，我會連你一起撤掉的！」
其實在當時，這不過是袁世凱的氣話，他一心要削弱段祺瑞的兵權，但在民初政局不穩的情況下，在很多方面還離不開段祺瑞這個北洋軍中的老大。後來隨著袁世凱稱帝步伐的加快，兩人的矛盾開始激化，尤其是段祺瑞反對恢復帝制，得罪了一心想當太子的袁克定，段祺瑞的命運很快發生了逆轉。
1913年秋，在袁世凱鎮壓「二次革命」後，京城中復辟帝制的輿論開始甚囂塵上。為此，段祺瑞曾當面詢問袁世凱，此事是否屬實。在段祺瑞看來，袁世凱不至如此糊塗，畢竟復辟不得人心，倒行逆施必然會招來千古罵名，尤其會引發動亂，成為眾矢之的。在得到袁世凱的斷然否定後，段祺瑞才稍稍放下心來。
可是時隔不久，袁世凱的心腹幕僚長阮忠樞便找上門來，他是受袁世凱的長子袁克定指派，專為袁世凱稱帝尋求奧援而來。阮忠樞與段祺瑞素稱莫逆，袁克定以為，由阮忠樞出面，段祺瑞定然不會反對。而他要段祺瑞做的，是段祺瑞做夢都不曾想到的：聯絡北洋將領，再來一次全國通電，擁護袁世凱稱帝。
「真是滑天下之大稽！」不等阮忠樞說完，段祺瑞便憤憤地打斷他的話：「我段某人只知通電共和，豈能通電復辟？大總統早就說過不當皇帝，你們還敢胡鬧！」
其實，對於復辟帝制，袁克定遠比袁世凱熱衷得多，畢竟袁世凱做了皇帝，他便是皇太子，理所當然的皇位繼承人。為了促成復辟帝制，袁克定甚至捏造政治謊言欺騙袁世凱。當時列強忙於第一次世界大戰，無暇東顧，袁世凱十分關注日本人對其稱帝的態度。而他揣測日本人態度的重要信息來源，便是日本人在北京辦的報紙《順天時報》。由於該報經常刊登一些對恢復帝制不利的文字，為了堅定袁世凱稱帝的決心，促成袁世凱稱帝，袁克定竟別出心裁，自己出資找人編造了盜版的《順天時報》，經常刊登一些日本人贊成中國恢復帝制的文章。袁世凱看了信以為真，加快了稱帝的步伐。後來袁世凱稱帝失敗，始知事情真相，不禁仰天悲呼：「克定誤我！克定誤我！」
而此時，段祺瑞的不予配合，令袁克定火冒三丈，從此經常在袁世凱耳邊聒噪，說段祺瑞壞話，挑撥離間，以達到剝奪段祺瑞兵權的目的。
1914年5月，袁世凱宣布在總統府成立陸海軍大元帥統率辦事處，袁世凱親自任大元帥，由「北洋之龍」王士珍任辦事處坐辦，陸軍總長、海軍總長、參謀總長，以及大元帥所派高級官員全部降為辦事員。
看著擺在辦公桌上的這份公文，徐樹錚憤憤地說：「看來老頭子要卸磨殺驢了！」
段祺瑞搖搖頭：「怕是沒那麼容易，老頭子有多大本事能把所有事都親自抓起來！」
「不管怎麼說，這是一個奪權信號！」徐樹錚甚至認為，這個「奪權」，其實只是衝著段祺瑞這個陸軍總長來的，其他人手中的「兵權」，對袁世凱以及袁克定來說，實在構不成威脅，大可不必如此費盡心機。
兩人不曾料到的是，這個「奪權」的點子，正是袁克定所獻計策。袁克定甚至親自前往河北正定，恭請王士珍出山。王士珍以善操權謀於腹中而被推為「北洋三傑」之首，由於忠於清廷，他對袁世凱的高看並不買帳，以歲數已大不願再參政為由拒絕出山。無奈袁克定軟磨硬泡，最終以看望其父為名將王士珍拉到北京。王士珍一到，袁世凱立即授為陸軍上將，委以統率辦事處坐辦。
如此一來，陸軍部等於名存實亡，掌控陸軍部的段祺瑞兵權盡失。從此，退居辦事員的段祺瑞開始了消極怠工。段祺瑞居住的府學胡同私宅，是袁世凱被開缺回原籍時，為感謝段祺瑞的鼎力相助拱手相送的，價值30萬元。該宅有側門與陸軍部相通，此前段祺瑞去陸軍部常由此門出入。如今，段祺瑞將一切部務交給陸軍次長徐樹錚代行，自己整日在家裡下圍棋，打麻將，不僅極少去部里，甚至統率辦的會議也常藉故缺席。
段祺瑞消極怠工，倒給袁世凱獨攬兵權減少了許多麻煩。只是段祺瑞羽翼已豐，在陸軍中隱然形成一種強大勢力。為了儘快將段祺瑞的勢力排擠出去，加強軍事集權，同時培植「太子」袁克定的軍事實力，1914年10月，袁世凱在軍事上又採取了一項重大舉措——建立模範團。
所謂模範團，其實是類似軍事教導團式的軍事學校，以其在軍隊中的模範作用，對北洋軍進行逐步改造。段祺瑞對這個方案持否定意見，但段祺瑞越是反對，袁世凱越是認為這項舉措是對的。關於團長人選，袁世凱宣布由袁克定擔任。段祺瑞也毫不留情，在統率辦會議上當眾頂撞袁世凱，語出驚人：
「雲台（袁克定字）沒帶過兵，我看他不行！」
「你看我行不行？」袁世凱肺都快氣炸了，立刻針鋒相對。
段祺瑞無話可說，只好偃旗息鼓。後來模範團成立，袁世凱做了一期團長，便把位子讓給了袁克定。
袁克定如願以償做了模範團團長，對段祺瑞更是懷恨在心，伺機報復。1915年初，袁世凱為取得日本對其稱帝的支持，與日本醞釀簽訂賣國條約「二十一條」。5月2日，袁世凱親自主持會議討論簽約事宜。會議名曰討論，實際不過是通知大家而已，因為所有人都看得出袁世凱的意向，因此，即使反對也無人敢拿著雞蛋往石頭上碰。唯有段祺瑞拍案而起，慷慨陳詞：
「小日本欺人太甚，如此條件過於苛刻，絕對不能接受！」
在勸阻不起作用的情況下，為了阻止簽約，阻止袁世凱稱帝，會後，段祺瑞以陸軍總長名義，領銜19省將軍通電請纓，稱「天下興亡，匹夫有責」，表示堅決反對簽訂「二十一條」，甚至不惜與日本人決一死戰。
令段祺瑞不曾想到的是，袁世凱不顧北洋將領以及全國各方面的強烈反對，於5月下旬與日本簽訂了「二十一條」；更有甚者，袁克定竟混淆視聽，將一盆污水潑到段祺瑞頭上，公開對外宣稱：
「政府之所以向日本屈服，是因為陸軍不能打仗，段總長親口說，一旦打仗，三天之內便可亡國。陸軍如此無用，政府能不接受日本的條件嗎？」
明明是為了稱帝邀寵於日本，出賣國家主權，卻說成是陸軍無用被迫接受日本不平等條約，段祺瑞氣得鼻子都歪了。
儘管如此，段祺瑞仍堅持反對復辟帝制。後來隨著復辟帝制的升級，許多反對袁世凱稱帝的官員、將領都違心地改變了態度，進入「勸進」的行列。即使不願意違心「勸進」的也都閉上了嘴巴，唯獨段祺瑞仍然堅持反對袁世凱稱帝。有人好心勸他，哪怕違心地表示一下「勸進」，也可改善他與袁世凱的關係，否則他的日子會越來越不好過。段祺瑞則公開宣稱：
「當年我領銜通電主張共和，如今要我領銜通電取消共和，擁項城稱帝，這種出爾反爾的事我是絕對不會幹的！」
段祺瑞的態度令袁世凱大為光火，決定搬開這塊絆腳石，他對段祺瑞說：「你臉色不好，是不是有病，要注意休息。」隨後又特地托人給段祺瑞捎話，告訴他要少操勞，多休息，注意身體。這明顯是逼段祺瑞辭職。
段祺瑞對這個辦事員級別的陸軍總長也干夠了，索性於5月31日以身體不適請辭。袁世凱假意挽留，沒有立即批准辭職，只是批准休息兩個月，但在段祺瑞辭職當天，便任命王士珍為陸軍總長；而兩個月期限一到，便迫不及待地正式免除了段祺瑞陸軍總長的職務。
還是在段祺瑞剛剛請假時，袁世凱就以徐樹錚訂購軍火虛報40萬元為由，指使肅政廳彈劾徐樹錚，撤了徐樹錚陸軍次長的職務，終於消除了他心頭的一大宿疾。
段祺瑞被免職回家養疴後，袁世凱一邊派人暗中監視，一邊派醫送藥，並經常派人給段祺瑞送去雞肝、參湯之類補養品。段祺瑞不敢食用，全部悄悄倒掉。但袁克定行起事來比他的老子直接多了，由於段祺瑞在北洋軍中的威信無人可替代，倘若段祺瑞對袁世凱稱帝一直不肯「勸進」，顯然對恢復帝制極為不利，袁克定急於當太子，豈容段祺瑞如此執拗，於是，他派人在段公館裡安放了一枚炸彈。
這顆炸彈很快被發現，雖沒有爆炸，卻給段公館帶來一片恐慌。段祺瑞的夫人張佩蘅將這件事告訴了她的乾娘、袁世凱的髮妻於夫人，於夫人轉告了袁世凱，袁世凱知道事出袁克定之手，將袁克定訓斥一番，說：
「你姐夫反對恢復帝制，只是口頭上的勸阻，並沒有採取過激行動。如今事情未定，這個時候內部不能出事，尤其你姐夫在北洋軍中威信極高，弄出事來不好收場！」
袁克定不得不承認，薑還是老的辣，到底是老頭子考慮事情周全。儘管他對段祺瑞阻礙恢復帝制恨之入骨，此時也只好收手。