但没有赢得朝中同僚的一片赞誉，反而因其威望日隆，成为了权臣的眼中钉。尤其是云顶山城统制姚世安，出于私欲，联合当时权倾一时的宰相谢方叔等人，对余玠进行恶意中伤，诬陷其拥兵自重，图谋不轨。这种无端的诽谤，在那个君主专制、政治斗争激烈的年代，足以致命。
宝佑元年（1253年），宋理宗在这些谗言的影响下，对余玠的信任产生了动摇，不顾其在四川的赫赫战功，下旨召回余玠。这对于一心扑在四川防御建设、满怀报国之志的余玠来说，无疑是沉重的打击。他深知朝中局势复杂，此次召回恐非吉兆，内心充满了忧虑与不安。
不久后的七月，余玠在返回京城的前夕，突然离世，死因成谜。一说他因无法忍受冤屈与失望，抑郁成疾而终；另一说则是不堪忍受权臣迫害，饮毒自尽，以死明志。无论是哪种说法，余玠的悲剧性结局，都是南宋政治腐败、忠奸不分的直接反映，也是对一位杰出军事家和政治家的巨大损失。
五、余玠的历史地位与影响
余玠的一生，是忠诚与智慧交织的传奇。他不仅在军事上创造了山城防御这一经典战例，为后世提供了宝贵的经验，更在政治上展现了卓越的治理能力，为南宋末期的四川乃至整个南方的稳定与发展做出了不可磨灭的贡献。他的不幸早逝，不仅是个人的悲剧，也是南宋的巨大损失。余玠所建立的山城防御体系，不仅在当时有效地抵御了蒙古的入侵，更为后世留下了宝贵的文化遗产和军事思想，对中国乃至世界军事史都产生了深远的影响。