張齊彈劾徐階，手段毒辣，用心卑劣，引起羣臣反擊，連幾位部院大人也按捺不住，加入了彈劾張齊的行列，一時間彈章竟達三十餘。
隆慶帝下詔嚴斥張齊，並將張齊調出京城，以示嚴懲。但廷臣餘怒未息，吏部尚書楊博上奏，議將張齊革職罷官。楊博的奏章舉足輕重，張齊看來難逃厄運。
但是出人意料，反對的人居然是徐階。徐階想，自己苦心起草遺詔的目的之一，是在放寬言論，雖說張齊爲人險詐，但因言獲罪，豈不又是禁錮言論？便力主從輕處罰，而羣臣固執己見。見朝政亂象已現，這也是徐階決意急流勇退的原因之一。
見朝中大臣一面倒，紛起支持徐階，隆慶皇帝也感到吃驚。徐階威信如此之高，自己這皇帝怎麼當？便於隆慶二年（公元1568年）七月二十一日，允准徐階辭官。隆慶準辭，滿朝震驚，紛紛上本挽留，已然無濟於事。請辭獲准的徐階向隆慶辭行，隆慶帝當殿面賜白金鈔幣，敕命“馳驛”，派官差由陸路經驛站護送回鄉。
少師回鄉，飛越關山，一路顛簸四十餘天，於九月初四到達松江。“近鄉情更怯”，不知家鄉現況如何？舊雨皆健在否？常言道人去茶涼，今兒自己辭官，已然一介草民，不知家鄉父老對己持何看法。一路上徐階思緒萬千。
驛車在鬆郡西門外一處停下，徐階掀簾問故，原來已到松江府接官亭。驛車護送至此，便可回程了。徐階掀簾下車，意外地發現接官亭下，已是黑壓壓人頭一片，知府衷貞吉以下都在恭候，外圈圍着的是父老鄉親。扶下張氏，徐階快步走上亭去，衷貞吉等人在亭下排開，一齊躬身道：“下官恭迎少師榮歸！”見此光景，徐階知道，本想悄然回家的願望落空了。他一手攙扶着張氏，一手拉着衷知府的手說：“你是我們家鄉的父母官，何必興師動衆？”衷貞吉笑曰：“少師有所不知，得知少師榮歸，不僅當地父老，即是卑職下屬，也皆思一睹風采，並非下官刻意安排。”徐階聞言，轉身對接官亭下衆鄉親躬了一躬說：“徐階何德何能，敢勞衆位鄉親？皆請回吧。”亭下衆人這纔看清，本鄉這位官居極品、名聞天下的首輔，葛衣幅巾，臉方須白，竟是一六十開外的老者。只是舉手投足，與衆不同。
民衆散去不少，衷知府一行指揮衙役把徐階的行李從驛車上卸下，搬上預先備好的車輛，一箱又一箱。衆人訝異，這箱中恐怕都是……正訝異間，只聽得嘩啦一聲，其中一個箱子落地，箱蓋自開，書冊散落一地。那衙役嚇得面如土色。徐階趕緊上前，彎下身子，把書冊一本本撿起，拍了拍，放好。徐階對那衙役說：“不妨，不妨，請搬那車上可也。”衷貞吉打趣道：“少師可謂‘夫子搬家——盡是書’也。”
緊接着，衷知府把徐階請上馬背，又讓徐夫人上了小轎，衆官員策馬東行將徐階送往濟農倉左近的徐階府第。爲讓徐階看看家鄉的變化，還特意繞了些道。
一路行來，徐階首先看到的是接官亭左近的元輔坊、柱國坊，不消說偌大兩個牌樓，是對自己的表彰。衆人策馬走過府前大街，只見店鋪林立，店招飄揚。經谷陽門外吊橋東，又見牌坊聳立，正欲動問，與徐階並轡而行的衷貞吉已搶先說：“此乃大學士坊，乃紀念少師晉升大學士時所建。”
折向南行就是南禪寺，徐階眼睛一亮，這一帶的府宅，堪稱宏麗。除了自己的府邸之外，又迤邐聳起五羣樓閣，緊挨自己府邸的，是三弟徐陟的三處宅院，太平橋一帶，是略遜樓院的一排排精舍。細問之下，這精舍是長子、次子、三子府上的總管所建。在南禪寺前，是次子徐琨、三子徐瑛的宅院。可謂瓊樓玉宇，屋脊比鱗。看到這些景象，徐階心頭掠過一絲不安，太盛了。自古盛極必衰，倒該提防。