蘇軾在皇宮宣德門偶遇張璪，張璪唯恐蘇軾追究烏臺詩案，然而蘇軾不計前嫌，并叮囑他記住“宣德門”三字。王閏之和王朝云為蘇軾制作了一頂帽子，蘇軾取名為“子瞻帽”。不料被帽店老板大量模仿趕制，仍然供不應求，乃至斷貨。人們認為有學問的人才可以戴這高帽。蘇軾對此付之一笑。西夏國索要歲幣的來使已到，呂大防和范純仁商定由蘇軾來應對。面對夏使咄咄逼人的氣焰，蘇軾泰然自若，以星象警告西夏，批評西夏背信棄義進犯邊城，并勸告西夏應以和為貴，以休心養息為上上之選。和則興，戰則亡。王巖叟、劉摯視蘇軾為眼中釘肉中刺，并合謀將其逐出朝廷。蘇軾深感不能直言朝政，內愧本心，于是謝絕了太皇太后和哲宗的挽留，離開朝廷，自放于杭州。并薦舉翰林院學士范祖禹擔任帝師。