一旁的管家连忙带着张居正去更衣，张居正在徐府如同自己家一样，管家有时候都觉得张居正才是徐阶的儿子，张居正更衣后，恢复了玉树临风的大帅哥造像，来到饭厅。
徐阶乃是松江府华亭县（今上海松江区）人，饮食口味与苏州府相近，徐阶也一直喜好家乡美食，尤其爱吃吴县鲈鱼，这个时节在京师想要吃到鲈鱼，可不是一件容易的事情，就是纹银数两也不见得能得一尾鲈鱼，徐阶笑着对张居正说道：“叔大今日可有口福了，这是苏州府送来的鲈鱼，等闲不得见的，老夫家乡的美味，叔大尝尝看！”
徐阶奉行的也是食不言寝不语的准则，张居正食不甘味的吃完了这顿饭，和徐阶来到书房，下人送上茶后，就只剩下徐阶和张居正师徒两人，徐阶这才说道：“叔大，每逢大事有静气，今日为何如此惊慌？”
张居正说道：“老师不知道吗？今日北镇抚司已经对仲芳用刑了，北镇抚司的刑罚老师也是知道的，仲芳一介书生，怎么抵挡的住这些鹰犬爪牙的酷刑啊！况且老师不知道吗？”
徐阶笑着问道：“老夫不知道什么？”
张居正斟酌了一下词句，才小心的说道：“老师不知道外间怎么说吗？”
徐阶说道：“外间之说，老夫从不在意，他们若是说些什么，老夫就动摇，怎么能成事？”
看着张居正焦急的神情，徐阶不由得想到自己当年，嘉靖九年（1530年），在讨论文庙祀典时，内阁首辅张璁主张文庙中将孔子像改为木制神主、将“大成至圣文宣王”封号改为先贤先儒等。嘉靖将其疏下发群臣讨论，徐阶读后颇为不满，于十月二十九日上疏力陈孔子之号不必去者三，不可去者五，反对张璁之说，主张沿用旧制。十一月一日上朝，张璁召徐阶于朝房斥责，徐阶乃正色力辩。
据说当时嘉靖还亲笔写下徐阶小人，永不叙用，将徐阶贬到福建南平府做推官。后来徐阶还是依靠自己的政绩和朝中大员的提携，一步步从吏部右侍郎、吏部左侍郎、翰林院掌院学士、礼部尚书而入阁。
一路上徐阶遭受了多少白眼和旁人的风言风语，光是嘉靖多次对徐阶表达的不信任，就足以终结徐阶的仕途了。
嘉靖二十八年（1549年）二月，徐阶被擢为礼部