歐陽修早知自己的直白和敢言會招來一些禍患，但他無論如何都想不到，自己竟然會被這種流言擊倒。他自問無愧於心，德行端正，可他的對手們卻能製造出如同真相一般的流言，而皇帝竟然相信了那些流言，將他放逐了。
一
慶曆三年十月，宋仁宗決定接受范仲淹、富弼、韓琦等人提出的建議，實施「慶曆新政」，針對官場中「不問賢愚，不較能否」以及「人人因循，不得奮勵」的情況進行整頓。
在當時，被推薦的御史台官員中，有極大一部分都是濫竽充數之人，沒有實才，只因朝中有親屬，便可以捷足先登，占一官位。上任之後，他們不懂從政、不懂為學，在其位而不謀其職，整日裡虛度光陰，而那些真正有才學之人卻屢屢落榜，有志難展。
范仲淹秉承「寧願讓一家哭，不能讓一路哭」的原則，一一審核了各地轉運使名冊，將無才之官、貪官、老朽無能之官等全部解任，同時，他還嚴格控制了權貴子弟入館閣的機會，那些不學無術的紈絝子弟再也無法輕易得到一個閒職了。為了避免冗官冗費，范仲淹提出了「抑僥倖」的主張，要求不再按照以往慣例，每逢祀典、帝王壽誕等日，一定級別的官員便有機會將其子孫推薦為官，如此，便極大保證了官員的質量。
宋仁宗改革之心急切，而真正能協助他進行改革的人卻少之又少。除了范仲淹、歐陽修、富弼這一群人外，朝中再無能為新政的實施貢獻實力之臣，不僅如此，朝中的一些保守之人拒不配合，使新政的開展難上加難。
半年過去了，新政卻一直沒有取得太大的成效。許多措施實施了一半便無法繼續，一些措施雖然實施了但效果並不明顯，還有一些措施則根本沒辦法實施。在宋仁宗的一再催促下，歐陽修也有些焦急，情急之下，他想出了讓皇帝召開兩府大會的辦法。
歐陽修認為，既然大臣們將皇帝的手諭當成耳邊風，那麼索性將手諭改為會議，由皇帝直接命令他們不得推諉，以促進新政的開展。可是他忽略了一個事實，這些大臣即便無為，同樣可以升遷。他的這一建議不但沒能將事情向好的一面推進，反而為他自己招來了麻煩。
新政的實施對國有利，對權貴們則無利。權貴們的利益受到了侵犯，不滿之心更重。當他們得知這一建議是歐陽修提出的後，立刻對歐陽修等人產生了更大的敵意。為了保護自己的利益，一群人開始集體將矛頭指向歐陽修等人。
從這時開始，「慶曆新政」就已經出現了失敗的苗頭。
漸漸地，朝中關於「朋黨」的謠言又起，稱范仲淹、歐陽修、富弼等人看似心系朝廷，為國效命，實則結為朋黨，擴大勢力，藉機剷除政見不同之人。
以夏竦為代表的守舊派們針對新政中的一些紕漏大做文章，並時常向宋仁宗上書，指責歐陽修等人「以國家爵祿為私惠，膠固朋黨」，「誤朝迷國」，「挾恨報仇」。
宋仁宗雖然重用范仲淹等人，但聽到這樣的言論，心裡不免有些動搖。
一次宋仁宗問范仲淹，君子是否也有朋黨之說，范仲淹以「物以類聚，人以群分」，以及自古正邪各為一黨應答，並對宋仁宗說，若是君子聚在一起，做出對國有益之事，理當被提倡而非被禁止。宋仁宗聽後，並沒有明確表態。
歐陽修得知宋仁宗心生動搖之後，十分擔心。新政的實施是宋仁宗提出的，他們幾人也是由宋仁宗任命的，若是此時宋仁宗對他們產生懷疑，他們之後必然會遇到前所未有的阻礙，推行新政之事也必然無法繼續進行。想到這裡，歐陽修決定寫一篇《朋黨論》，以此穩定宋仁宗之心。
若是風波就此平息便好，然而事實卻沒有歐陽修等人所期望的那麼樂觀，隨著新政的開展，被彈劾的官員越來越多，怨恨歐陽修等人的人也就越來越多。
緊接著，對歐陽修等人的誹謗之言也日漸增多，各種各樣的誣陷層出不窮，讓宋仁宗再難相信歐陽修等人的清白。
對於朝中的變化，歐陽修並不知情，此時，他正忙著在山西一帶考察，無暇顧及朝中之事。直到三個月後，他回到京城，才知道一切都並未遂人願，不但宋仁宗開始懷疑他們，就連朝中之前一些中立官員如今也站到了他們的對立面。
恰在此時，契丹開始西征，並要求宋朝不得支援西夏。范仲淹主動請求出使邊境，遠離了宦海風波。北宋慶曆五年（1045 年）正月，范仲淹被貶，調往陝西。之後，石介因在《慶曆聖德頌》中將夏竦斥為大奸而遭到怨恨，夏竦派人偽造了石介與富弼的書信和一封在石介、富弼「授意」下所寫的廢帝詔書。此事一出，石介和富弼也無法繼續待在京城了，不得不被遠調。富弼被調離的第二天，杜衍和韓琦也被降職，分別調往兗州和揚州。不出十天，歐陽修也接到了調離的命令。朝廷給出的理由是契丹來犯，北部邊境需要有能之人前去監督。
謠言如洪水般來勢洶湧，朝中人心動盪。守舊派的謠言動搖了宋仁宗，也令朝中一些原本支持歐陽修等人的大臣心生懷疑。當初極力推薦歐陽修的晏殊此時也不再相信他的為人，歐陽修此次被外調，正是他極力主張所致。
歐陽修無奈，卻無能為力，他知道，自己越是努力辯解，越是爭取留在朝中的機會，宋仁宗的疑心就會越重，他的處境也就越艱難。況且宋仁宗向他表示，只是暫時外調，不久後便會將他調回，所以歐陽修只得聽命。
自范仲淹、韓琦、富弼、歐陽修等人相繼被排斥出朝廷後，由他們提出的各項改革措施均被廢止，而隨後的「進奏院事件」又令「慶曆新政」的實施者們陷入了回天乏術的境地。
「進奏院事件」是守舊派們為了扳倒蘇舜欽，進而徹底剷除范仲淹等人在朝中根基之所為。蘇舜欽是杜衍之婿，又是范仲淹推薦入朝的，守舊派們認為從他入手，便能一舉多得，讓革新派再也無法在朝中立足。
蘇舜欽所在的進奏院主要負責祭神活動，那次活動後，蘇舜欽自出銀兩，又加上一些變賣廢紙的錢，宴請了本院官吏以及新政之中一些表現突出的學士。一名叫王益柔的官員酒醉後作下了「醉臥北極遣帝扶，周公孔子驅為奴」的詩句，守舊派們聽聞這兩句詩後，便以王益柔褻瀆聖人為由，向御史中丞王拱辰告狀。
王拱辰雖與歐陽修曾為同學，又是好友，但從政以來，由於政見不同，分屬不同派別，兩人之間的情誼也漸漸變了。王拱辰借題發揮，以此事為由彈劾蘇舜欽。之後守舊派乘勝追擊，上書彈劾范仲淹、富弼、杜衍等人。
最後，宋仁宗以「恣為苛刻，構織罪端」為由，將革新派全部人員貶出京城。
守舊派重新占據了朝野，新政被廢，科舉恢復舊制，「慶曆新政」徹底失敗了。
二
在剛剛遭到貶斥時，歐陽修曾竭力上書申辯，冒死進諫，希望宋仁宗能免去杜衍、范仲淹、韓琦和富弼莫須有之罪名，然而，他越是這樣，守舊派就越是怨恨他，越想將他置於死地。
為了讓歐陽修無路可退，守舊派的人將眼光全都聚集在了他身上，希望能夠找到一些蛛絲馬跡，可是歐陽修為人正直，光明磊落，為官清廉，實在難有可令他們大做文章之事。
正當守舊派們為如何扳倒歐陽修而大傷腦筋時，開封府右軍巡院接到一起報案，一個名叫歐陽晟的男子揭發自己的妻子張氏與家中一男僕通姦。當得知歐陽晟是歐陽修的遠房堂侄，而張氏是歐陽修妹婿前妻所生之女，曾在歐陽修家中居住數年之後，守舊派們從中嗅到了一絲機會。
守舊派們大喜，立刻吩咐開封府尹楊日嚴對張氏嚴加審訊，試圖讓張氏說出一些有利於他們陷害歐陽修的證詞。楊日嚴曾因貪污遭到歐陽修彈劾，早就對他懷恨在心，如今有機會向他潑髒水，自然全力以赴，對張氏百般恐嚇，命其說出一些與歐陽修有關的事情。
張氏尚且年少，又是一介女流之輩，在嚴刑逼供和誘導下，果然慌亂不已，口不擇言，說了許多出嫁之前與歐陽修的曖昧之事。楊日嚴聞後甚喜，便將這些供詞記錄下來，打算呈報朝廷，以定歐陽修亂倫之罪。
在守舊派們的授意和慫恿下，楊日嚴向朝廷上書，指責歐陽修曾在張氏年幼時與其發生過齷齪之事，並一口咬定歐陽修在一首《望江南》中所描寫的可愛少女正是張氏，這些足以說明歐陽修在張氏尚且年幼之時便對其動了心思，繼而與張氏發生不倫之事。
江南柳，葉小未成陰。人為絲輕那忍折，鶯嫌枝嫩不勝吟。留著待春深。
十四五，閒抱琵琶尋。階上簸錢階下走，恁時相見早留心。何況到如今。
——《望江南》
為了加重歐陽修的罪名，諫官錢明逸還指出，歐陽修將張氏接到家中的舉動包藏禍心，一方面是為了能與張氏有染，另一方面則是為了藉機侵占張家的財產，因為張氏當時不過是一名七歲的無知少女，一旦被歐陽修控制，自然會將所得遺產盡數交到他的手中。
負責監審此案的王昭明雖與歐陽修曾有嫌隙，但一看此案便知是宰相賈昌朝等人想要將歐陽修置於死地的誣陷之舉。為了避免日後生出禍端，他沒有上呈那份寫滿對歐陽修污衊之詞的案卷，而是選擇了孫揆所記錄的，只包含了張氏與男僕私通之事的案卷。
賈昌朝等人沒想到王昭明只是一個宦官，竟然如此剛正不阿，使他們的陰謀落空。與王昭明一併負責此案的蘇安世曾擔心賈昌朝等人報復他們，提議胡亂羅列些罪名將歐陽修定罪，王昭明卻不從。最後，蘇安世只得避重就輕，在卷中加入了歐陽修私自使用張氏的遺產為妹妹購買田地之罪。
這場風波的結果是，歐陽修被貶為滁州知州。離開河北之時，歐陽修的心中充滿了遺憾，可令他遺憾的不是被降官職這一事實，而是他在此地還有許多計劃未曾實現。
自從被任命為河北路都轉運按察使，歐陽修已在河北進行了五個多月的調查，他深入基層，對此地的官吏、山川、經濟等都進行了調查，好不容易對這些信息有了充分的了解，正準備大展拳腳、革弊圖新，可這樣一個調令使他之前的努力都白費了。
歐陽修早知自己的直白和敢言會招來一些禍患，但他無論如何都想不到，自己竟然會被這種流言擊倒。他自問無愧於心，德行端正，可他的對手們卻能製造出如同真相一般的流言，而皇帝竟然相信了那些流言，將他放逐。
更不幸的是，就在歐陽修被貶當年的六月，他的長女師師不幸身故。歐陽修猶記去年，當自己將在野外摘得的野花帶回家中時，七歲的師師喜悅地滿院尋找花瓶，幫他把花插進去。短短一年的時間，那個活潑的小女孩便已不在人世了。在《哭女師》一文中，歐陽修寫道：「於汝有頃刻之愛兮，使我有終身之患。」
仕途的不順、家人的離世，歐陽修又一次跌入了人生的低谷，他心痛萬分，卻仍要堅強起來面對生活。
三
北宋慶曆五年（1045 年），石介死於家中。雖然石介生前與歐陽修有些不合，其性格也不被歐陽修所欣賞，但他的死對於歐陽修而言仍是一次沉重的打擊。想到那些曾與他一起實施新政的同僚無一人過著安穩的生活，歐陽修的心裡悲痛極了。
石介死後，一些小人懷疑他並沒有死，而是被富弼調往山東發起叛亂，於是嚷著要劈棺驗屍。幸好杜衍攜數名正義之士聯名具保，石介的遺體才得以保全。第二年，范仲淹將重病的尹洙接到鄧州養病，然而尹洙不久也病故了。
相比之下，歐陽修算是比較幸運的，雖然朝廷將他貶至滁州，可他的生活卻較安穩，身體雖不太健康，可活得很充實。一篇《醉翁亭記》更是讓歐陽修身在小城卻名揚四海。而且，雖然守舊派們對他惡語相向，但他的名聲並未因此變壞。許多學子仍然視他為可敬的前輩，上門拜訪或寄來書信，向他請教，就連新科狀元都會主動將自己的情況報告給他，以求他的指正。
北宋慶曆七年（1047 年）十二月，宋仁宗為之前的處置感到一絲後悔，便借祭典之由，為歐陽修加銜晉爵，待歐陽修在滁州任職期滿後，便將他調往了揚州，任制誥。聽說歐陽修要離開，滁州的官民都感到不舍，他們為歐陽修舉行了歡送宴。歐陽修對此地也十分不舍，在席間他頻頻舉杯，以酒話別。
席罷，歐陽修收拾妥當行李細軟，便動身前往揚州。他知道朝廷此舉是在安撫他，於是寫下了《揚州謝上表》，以謝皇恩。
在揚州，歐陽修仍堅持「在無為中求有為」，不求建功，只求百姓安定。
揚州的一切都很好，優美的風景、豐富的文化氣息、和善的百姓都讓歐陽修感到舒心，唯一令他感到不適的是這裡應酬之事太多、逢迎之人太多。歐陽修一向不喜歡那些趨炎附勢之人，每當有人邀請他參加各種應酬時，他都感到很厭煩。
北宋慶曆八年（1048 年）夏，好友梅堯臣路過揚州，前去探望歐陽修，二人度過了一段快樂而短暫的時光。那年中秋，好友們再次相聚，飲酒賞月，月下賦詩，幸福之餘，想到遠在蘇州的蘇舜欽，不由得又有些遺憾，於是，歐陽修將席間所作的《紫石屏歌》改為《月石硯屏歌寄蘇子美》，寄予蘇舜欽。
歐陽修希望蘇舜欽能夠與他們同樂，並望蘇舜欽有機會可與他們再見。
沒想到，同年年末，蘇舜欽便去世了。
突如其來的噩耗讓病中的歐陽修瞬間感到雙目劇痛難忍，然而他還是努力地睜大眼睛，盯著手中那封從遠方而來的訃告，仔細地看了一遍又一遍。許多美好的往事一起湧上心頭，讓歐陽修更感心痛，懷著滿腔哀傷，歐陽修為蘇舜欽作了一篇墓志銘，字字血淚，讀過之人無不為之動容。
蘇舜欽的去世讓歐陽修想到一年前病故的尹洙以及身故多年的數位好友，他的心裡有些淒涼。遙想曾經年少時，攜好友遊山玩水，賞花賞月，飲酒作詩，那是多麼愉悅！如今卻只剩下自己一人在月下靜靜地思念，自斟自飲，好不憂傷。
這一年，他為已過世的尹洙寫下了《祭尹師魯文》和《尹師魯墓志銘》，卻不想他所作的墓志銘不被尹洙的家人和門生所接受，他們認為此墓志銘過於精簡，無法突出尹洙生前的功德和地位。歐陽修有些無奈，他本想效仿尹洙生前的文風為好友奠文，卻不想不被其家人和門生理解，於是第二年又作了《論尹師魯墓誌》為自己進行辯解，誰知尹家人仍然不能接受，並請韓琦另作了一篇內容豐富的墓表文。
也許是個性使然，也許是因為早已習慣了小城市裡的安定單純，在揚州生活不到一年，歐陽修便感到累了。揚州那種公務繁忙而多有應酬的生活讓他感到難以適應，不時傳來的悲痛的消息也一次次衝擊著他的心，讓他難以平靜。
他想找個地方過平靜的生活，於是上表朝廷，請求宋仁宗將他派去其他城市。
宋仁宗接受了歐陽修的請求，將他派往潁州，那是一個民風淳樸的小城。
不太繁忙的政務、秀麗的山水、豐富的特產、淳樸的民風都讓他感到無比輕鬆。
初到這裡，他便寫下了《初至潁州西湖種瑞蓮黃楊寄淮南轉運呂度支發運許主客》，並在詩中表達了自己的這種喜悅之情。
平湖十頃碧琉璃，四面清陰乍合時。
柳絮已將春去遠，海棠應恨我來遲。
啼禽似與遊人語，明月閒撐野艇隨。
每到最佳堪樂處，卻思君共把芳卮。
潁州位於潁河之南、淮水之北，此處最為出名的景觀是位於城西北方且有「十里碧琉璃」之譽的西湖，它與杭州西湖、惠州西湖和揚州西湖並稱為「中國四大名湖」。
置身於美景之中，歐陽修已是十分喜悅，而隨後結交到的新朋友更是令他喜上加喜。潁州通判呂公著性情溫和，待人誠摯，淡泊名利，喜好讀書；學者劉敞知識淵博，滿腹經綸；儒者王回才學出眾，文筆極佳，為人正直。與他們在一起，歐陽修心裡充滿了平靜和滿足。