加之与宦官高忠的牵连，以及在礼制和日常行为上的争议，最终导致世宗彻底失去了对他的信任。严嵩趁机进谗，利用夏言与自己的矛盾，通过一系列精心策划的中伤，促使世宗于嘉靖二十一年（1542年）下旨罢免夏言。
夏言被罢后，生活陷入低谷，但他并未放弃希望，通过节日上表祝寿等方式试图挽回皇帝的好感。嘉靖二十四年（1545年），世宗对严嵩的不满给了夏言复出的机会。夏言回归后，立即展现出了强势的一面，急于清除严嵩的影响，但他的专断与排除异己的做法，也引起了朝臣的不满与恐惧。
六、惨遭冤害
嘉靖二十五年至二十七年（1546-1548年）间，夏言的命运因河套战役的争议而发生了决定性的逆转。这不仅是他个人政治生涯的终点，也深刻映射了明代晚期政治斗争的残酷与复杂。
陕西总督曾铣提出收复河套地区，夏言基于其一贯的激进与爱国情怀，加之与曾铣的私交，对此事表示了强烈的支持。他相信曾铣的忠诚与能力，认为这是重振国威、拓展疆域的良机。然而，这一主张并未得到世宗皇帝的完全认同，世宗对夏言的动机产生了怀疑，担心其因私人情感而偏离国家利益。尽管初期世宗对复套计划持保留态度，但在曾铣取得初步胜利和群臣的普遍支持下，世宗的态度一度有所松动，甚至表现出积极鼓励的姿态。
转折点出现在嘉靖二十七年初，当兵部无法就复套计划的细节，特别是后勤保障和胜算分析给出满意答复时，世宗的疑虑与不满再次浮现。此时，夏言的政敌严嵩看到了扳倒对手的绝佳时机。严嵩通过亲近皇帝的宦官，不断贬低夏言，同时利用其擅长的青词写作进一步赢得世宗欢心。在夏言与曾铣的复套策略面临质疑之际，严嵩适时地表达了对复套的反对，同时巧妙地将自己置于道德高地，声称夏言独揽大权，自己则无辜受累，这一策略极大地影响了世宗的判断。
面对严嵩的攻击和世宗的怒火，夏言虽尽力辩解，甚至指出了严嵩的诸多不实之处，但世宗已深陷于严嵩编织的舆论网中，难以辨明是非。夏言最终被罢免，失去了所有官职，这还不足以平息世宗的怒气，加之仇鸾的诬告和曾铣的牵连，夏言的命运被彻底锁定。在一系列精心设计的指控和不公正的审