段祺瑞先後娶了兩房太太和五房姨太太，第一位太太吳氏去世後，留下一兒一女。第二位太太張佩蘅，也就是袁世凱的乾女兒，生了四個女兒。而他的五房姨太太，都是張夫人先後為段祺瑞討進門的。張夫人因為沒有兒子，生怕別人說她不夠賢惠，不得已而為之。
大姨太陳氏，早在1914年便過世了，留下一兒一女均不幸早折；二姨太邊氏只生了一個女兒；三姨太和四姨太都姓劉，僕人們稱她們為劉三、劉四。五姨太姓李，便順著稱為李五。這三個姨太太出身都很低，都是花錢買進門的。
段祺瑞脾氣很大，在家中說一不二，對夫人、姨太太要求很嚴，但從某種角度來說，他的治家卻很失敗。他本人素有「六不沾總理」之稱，即不貪污肥己，不賣官鬻爵，不抽大煙，不酗酒，不嫖娼，不賭錢。他尤其痛恨抽大煙，沒想到他的夫人、姨太太個個背著他抽大煙。
段祺瑞下野之初，住在天津日租界須磨街他的部下魏宗翰的公館裡，第二年應皖系下屬田中玉之邀赴大連療養，隨行的有張夫人和二姨太，留在家裡的幾個姨太太沒了管束，常常打扮得花枝招展偷偷溜出去看電影、聽戲、划船、逛市場，四處招蜂引蝶，常常半夜三更才回公館。
段祺瑞返回天津後，突然發現家裡有什麼不對勁。下人們在竊竊私語，三姨太和四姨太說話總是躲躲閃閃。有天夜裡段祺瑞睡不著，一個人起來到院子裡散步，正好撞到三姨太從外面歸來。當時段祺瑞的驚愕無異於見到了外星人，他完全沒有想到自己的女人竟然打扮得像歌女，而且夜半歸來！
三姨太也驚呆了，嚇壞了。她了解段祺瑞的脾氣，知道等待自己的是凶多吉少。段祺瑞注視著三姨太，照著三姨太的臉一掌打過去，喝斥道：「不要臉的東西！」
第二天，段祺瑞吩咐張夫人將三姨太送回在北京的娘家。張夫人早已聽說了三姨太和四姨太的風流韻事，只是一直瞞著段祺瑞。以段祺瑞的脾氣，她擔心會鬧出什麼大事。如今見段祺瑞如此冷靜，倒也放下心來。只是三姨太哭著鬧著不肯離去，讓她有些於心不忍。
送走了三姨太，不久四姨太的風流韻事又傳了出來，段祺瑞一怒之下又將四姨太休掉，打發回了娘家。
對於子女，段祺瑞更是要求嚴格，而且從不給什麼特殊照顧。吳夫人所生長子段宏業，從小寄養在親戚家，十幾歲才回到段祺瑞身邊，雖然沒有受過良好教育，但與段祺瑞一樣，十分喜愛圍棋，是當時圍棋界裡響噹噹的人物。正因為如此，段祺瑞對段宏業十分喜愛。但仍沒有為他的前途鋪平道路，而是教育他從最低層做起，靠自己的能力一步步向高處攀登。
段祺瑞治家嚴明，夫人姨太子女都不得干預公事。有一次一個姨太太想替一位老媽子的親戚謀個差事，在段祺瑞面前求情，段祺瑞一聽氣得鼻子都歪了，怒斥道：「你想買官嗎？得了人家多少錢，快說！」
這位姨太太委屈得當場就流下了眼淚，但段祺瑞毫無憐香惜玉之情，又將她狠狠訓斥一番才罷休。從此，家中再也沒有人敢向段祺瑞求情。
段祺瑞當官以後，合肥老家經常來人拜訪，目的是想求他給謀個好差使，段祺瑞一概不予辦理，只是好吃好喝地招待這些親戚幾日，然後給些錢將他們打發走。就連他的胞弟段啟甫上門，他也是毫無情面。當時他已任國務總理，安排個差使是一件很簡單的事，但段祺瑞認為段啟甫不是做官的料，對他說：「你不適合做官，還是給你一筆錢，回家做個買賣吧。」
因此，段祺瑞的親朋好友中很少有做官和發大財的，這在當時的軍政要員中極為罕見。
唯一的一次破例，是段祺瑞為他的一個遠房侄子安排了事由。他見那個侄子能吃苦，是個可造之材，就給他謀了個軍校的勤雜工。令段祺瑞意外的是，這個侄子沒當幾天勤雜工，很快被升為軍需採辦。這不是因為他個人有什麼能力，而是因為他是段祺瑞的親戚，軍校負責人處處巴結他，心甘情願把這個肥缺送給他。
這個侄子當上軍需採辦後，異常高興，決心盡職盡責做好這份工作，可每天看著從自己手中流過的白花花的銀子，他很快便把持不住，手腳變得不乾淨起來。直到撈足了油水，他才想到這一切都是沾了族叔的光，於是決定登門拜訪段祺瑞。
一進段府，這位侄子看到一位婦女正和一個米販子討價還價，婦女雖衣著普通，但言談舉止很不一般，一看就是段府女主人。這位侄子不由得暗暗吃驚，想不到族叔做了那麼大的官，家裡買米還要如此算計。
這位侄子沒有進去拜見族叔，而是轉身離開了段府。第二天，他帶著一輛大車來到段府，車上裝滿了米麵油鹽、雞鴨魚肉等食物。他向段祺瑞的續弦夫人張佩蘅做了自我介紹，然後說：「以後我每月都來送食物，您再也不用和那些小販子討價還價了！」臨走前，他還特意囑咐張夫人，不要將此事告知族叔，他早就聽說段祺瑞不收禮，擔心這些東西被送回。
可是段祺瑞治家甚嚴，張夫人豈敢隱瞞，當天晚上便將此事告訴了段祺瑞，段祺瑞聽後立即火冒三丈：「這小子哪來這麼多錢？還要每月都送，我倒要看看他這些錢是哪兒來的！」
不久後，段祺瑞到軍校視察，特意向學員們打聽伙食問題，學員們普遍反映菜種單一，而且不新鮮，米也不好。段祺瑞氣呼呼地來到伙房一看，果然如學員們所說，他立刻叫來軍需主任，劈頭就是一頓臭罵。軍需主任哆哆嗦嗦，只是囁嚅道：「這不關我的事，這不關我的事……」再問他，他又說不知道，氣得段祺瑞吼道：「不知道是吧，那就給我拖出去打50軍棍！」
這話果然見效，軍需主任立刻口齒清晰地供出段祺瑞的侄子，並拿出帳本給段祺瑞過目。段祺瑞早就對他侄子有所懷疑，如今人證物證俱在，立刻叫人把他侄子綁了來，「賞」了他100軍棍。100軍棍足以要人性命，幸虧執行人手下留情，這個侄子才保住性命，但也因此落下終身殘疾。
打完侄子，段祺瑞又做出一項驚人之舉，他不顧別人勸阻，主動走進禁閉室，不吃不喝地在裡面待了整整兩天，以懲罰自己任用私人。
而段祺瑞本人也從不收禮。有一次，江蘇督軍齊燮元送給他一個精緻的圍屏，圍屏上鑲有各種寶石，五顏六色，光彩奪目，一看就知價值不菲。段家的人看了都愛不釋手，甚至半夜裡偷偷起來玩賞。可第二天早上，段祺瑞見到圍屏，只是淡淡地掃了一眼，就叫人給齊燮元送回去了。
還有一次，張作霖給段祺瑞送來一些東北特產，並不是多麼值錢的東西，但段祺瑞死活不肯收，最後在張作霖副官一再懇求下，才收下兩條江魚。唯獨有一次馮玉祥送來一個大南瓜，段祺瑞非常喜歡，破例沒有送回。逢年過節時，按照習俗，給段祺瑞送禮的人更是絡繹不絕，但段祺瑞只是在每人的禮品中挑一樣最不值錢的留下，其餘的一概退回。
段祺瑞一生清廉，沒有購置過一處房產和地產，甚至連合肥老家也沒有一處住房，在北京住的房子是袁世凱贈送的，到天津之初，住的是他的部下魏宗翰的公館。後來搬出日租界，租住在英租界47號一套房租較低的住宅中。
段祺瑞在位時，儘管經常要接濟老家的親戚和夫人姨太太們的家屬，但政府的撥給還是可以滿足這些開支的。由於沒有財產與積蓄，段祺瑞下野後，生活一下子便沒了著落，所幸他的部下、學生眾多，這時候不得不依靠他們的接濟。
到天津後，段祺瑞想方設法節省開支，家裡的每一筆開支他都要親自過問。他的每日三餐基本都是米粥、饅頭、素菜，四季衣著全是布制，僕人的數量也一降再降。由於人手不足，他和夫人姨太太們經常要親自做些簡單的家務。
移居上海後，有了蔣介石每月贈送的生活費，段祺瑞不再為開銷擔憂，每日在公館裡下一盤棋，其餘時間不是誦經便是讀書。每當有朋友來訪，談及日軍向華北擴張，淪陷區一天天擴大，段祺瑞總是傷感良久。
1934年春天，段祺瑞胃潰瘍發作，引起胃部出血，被送到醫院治療。由於段祺瑞身體虛弱，醫生家人紛紛勸他開葷，以加強營養，段祺瑞斷然拒絕：「人可死，葷絕不能開！」
1936年11月1日，段祺瑞胃病復發，胃部出血不止，11月2日晚即在上海宏恩醫院去世，時年72歲。
在遺囑中，段祺瑞就國家之復興，之轉弱為強，向政府提出了「八勿」：「勿因我見而輕啟政爭，勿空談而不顧實踐，勿行不急之務而浪用民財，勿信過激之說而自搖邦本，講外交者勿忘鞏固國防，司教育者勿忘保存國粹，治家者勿棄固有之禮教，求學者勿趨時尚之紛華。」此「八勿」體現了段祺瑞的政見與憂國憂民之切。
11月5日，國民政府明令褒揚段祺瑞一生功勳，予以國葬，按佛教禮儀大殮。上海市長吳鐵城代表國民政府主席林森、軍事委員會委員長蔣介石前往弔唁，軍政要員于右任、張群、居正及段祺瑞舊部、生前友好，以及各國駐滬領事紛紛前往致祭，上海下半旗致哀。
蔣介石的唁電稱：「老夫子令德考終，薄海永悼。」
吳佩孚的唁電稱：「追念師門恩義，感涕難忘，遙望海天，悲痛不已。」
南京國民政府本想將段祺瑞安葬在南京，但段祺瑞由於一生事業都在北方，臨終前特意叮囑兒子段宏業，死後一定將他葬於北平，最好葬於西山。按照段祺瑞的遺囑，其靈柩於12月7日由上海啟程，運往北平，暫厝於西山臥佛寺，等候段宏業請人卜地建墓後入土為安。然而這一等就是半年多，所看中的土地，不是風水不佳，便是地主不願出讓。1937年北平淪陷後，日軍強征臥佛寺，迫使段宏業將段祺瑞的靈柩移出，匆匆埋葬於西郊其三叔段子猷墓旁的一小塊空地上，倉促地舉行了葬禮。所到之人，見段祺瑞被如此「隨意」地安葬，無不感到悲痛。
直到1963年秋，段祺瑞的侄子段宏綱及章士釗才將段祺瑞移葬西郊萬安公墓，章士釗在墓碑上題寫了：「合肥段公芝泉之墓。」
歷史評說
在很多人的眼中，段祺瑞作為北洋時期皖系軍閥的首領，作為魯迅先生《紀念劉和珍》一文中被鞭撻的對象，一定是獨裁、腐敗的，實際上，段祺瑞一生中可圈可點之處頗多。
段祺瑞一生中「三造共和」功不可沒。1911年，段祺瑞率前線北洋將領46人聯名致電清政府籲請清帝退位，結束了中國延續兩千多年的封建帝制；袁世凱蓄意稱帝時，段祺瑞不惜惹怒袁世凱，以致不斷被貶被黜，仍然堅決反對帝制；1917年張勳復辟，段祺瑞率兵討伐，使復辟破產。但我們也要看到，段祺瑞「三造共和」的目的是為自己爭權，在推翻袁世凱和張勳帝制後，仍實行獨裁統治，實際是換湯不換藥。
段祺瑞派心腹徐樹錚收復外蒙居功至偉。辛亥革命後，外蒙古因沙俄扶植脫離中國，當時的中國根本無力與沙俄對抗，然而段祺瑞瞅准俄國爆發十月革命，無暇顧及外蒙古，派徐樹錚一舉收復外蒙古，舉國人民歡欣鼓舞。外蒙古的回歸，不僅打擊了民族分裂勢力，更保證了中華民國的領土完整與主權統一。在這一點上，作為當時的政府首腦，段祺瑞值得稱頌。
段祺瑞雖然親日，並且多次同日本秘密簽訂借款合同，但在日本請他出面建立偽政權時，他態度堅決，絕不落水做漢奸。在這一點上可以看出，段祺瑞是愛國的，他的親日是有底線的。
段祺瑞一生中最大的爭議，莫過於「製造」「三·一八」慘案，說他「製造」並不公允，因為當時他在家中養病，不在執政府，並非他下令槍殺遊行示威者。但作為執政，他又無法推卸責任，這件事成為他一生的污點。段祺瑞在得知慘案發生後，曾面對死者長跪不起，並立誓終身食素以贖罪，而這個誓言，在他病危時醫生一再勸他開葷增加營養，他都不曾動搖，直到去世。
段祺瑞性格耿直，為人坦誠，不逢迎，不諂媚，雖脾氣暴躁，但心地善良，尤以為官清廉而聞名，素有「六不總理」之稱，即不貪污肥己，不賣官鬻爵，不抽大煙，不酗酒，不嫖娼，不賭錢，一生沒有購置房產，死後沒有餘財，盡顯其人格魅力，這對於一個多年處於中國政權巔峰的官員來說，實屬不易，值得後人稱頌、學習。