然而，赵昚的退位生活并不如意。继位的宋光宗赵惇，性格乖张，与其父赵昚关系紧张。在赵昚退位后，赵惇未能尽到为人子应有的孝敬义务，不但疏于探望和侍奉，甚至在赵昚生病时也不闻不问，这种极度的不孝行径令赵昚内心深感痛苦与失望，加之无法干预朝政的失落感，多重压力之下，赵昚的心情日渐抑郁，身体状况也随之每况愈下。
最终，在绍熙五年（1194年），饱受身心折磨的赵昚在退位仅五年后就驾崩了，享年六十八岁。这位曾经锐意改革、励精图治，开创“乾淳之治”盛世的一代明君，却在晚年因亲子的不孝而郁郁寡欢，这成为了南宋历史上一段颇为惋惜的插曲。
综述，宋孝宗赵昚以其卓越的政治智慧、深厚的儒家修养以及务实的治国理念，不仅成功实现了宋朝皇位的回归正统，更创造了“乾淳之治”的辉煌时期，其功绩载入史册，被誉为南宋最为有为且贤明的皇帝之一。