海瑞等待朝廷的批復，久等不來，傳來的都是壞消息。他心情十分煩燥。這時，家庭又發生變故。由于不堪婆母的冷淡，海瑞的夫人服毒自殺，而海瑞的妾因為受到海瑞的責備，也在當晚自縊而亡。 這件事又成了眾人攻擊海瑞的借口。他被說成是一個怪異的變態者，不合常情的瘋子，不然，何以妻妾同時死在同一天？ 皇帝原還想對海瑞換個位置讓他發揮作用。這一來，只好同意高拱這些人的建議，把他降級，調一個最閑的差事讓他干，高拱卻連這樣的閑差也不肯給他，讓吏部搞了個“并職”的把戲，存心羞辱海瑞。海瑞在這種情況下，只有要求退休。他以為無論如何也會有人替他講句公道活，誰知道，本章一上，馬上批準。 海瑞同押旨前來的戴鳳翔辦理交接。他表示并不太在意個人去留，關心的是，能不能把他開始做，而且認為該做的事做完。但他看到，隨著他交權，徐瑛馬上被無罪釋放，已退給農民的田被重新收回，鄉紳們彈冠相慶，受冤者無助痛哭……他完全失望了！在留給張居正的信中，他為自己所做的事辯護，痛責“滿朝諸公，盡婦人也！”但這又有什么用？ 在百姓的哭聲中，海瑞黯然掉頭，踏上遙遙歸路。 海瑞的信在朝廷引起大嘩。連張居正也認為他太過分了。但他利用海瑞的信，在皇帝面前巧妙地參了高拱一本，使高拱丟失了相位。 數年后，皇帝以英年突然駕崩，張居正成為小皇帝完全信賴和依靠的首輔重臣，現在，他可以放手從事他的新政了。主掌吏部的戴鳳翔因事去廣東視察，張居正突然向他問起海瑞。戴鳳翔猜度首輔的意圖，決定轉道海南，去看一看這個閑居的老臣。 海瑞在自己的草舍里接待了遠道來的客人。母親去世后，他一個人孤獨而清貧地生活著，但草屋的墻上，懸掛的仍是他手書的“忠孝”兩個大字，他對朝政仍十分關心，拋去他同舊日學生的恩恩怨怨，他問皇帝的起居，問首輔的健康，問新法的實行情況，最后，他把剛編定印出的自己的文集送給戴鳳翔，還請他給首輔張先生捎去一本，同時附去一封辭意懇切的信，期望還能有為朝廷效命的一天。