之子、太子朱见濬，改立自己的儿子朱见济为皇太子，代宗为达目的，在事前事后厚贿群臣，高谷不能阻止此事，也被加授为太子太傅，享双俸。
与阁臣陈循总裁编修《环宇通志》，晋谨身殿大学士兼东阁大学士。他与阁臣王文不和，屡次请求解预机务，代宗不允。代宗病重不能视事，英宗在石亨、曹吉祥等文武大臣的拥戴下，突然夺宫升殿，废黜代宗，此为“夺门之变”。
英宗复辟后，对景泰时期的阁臣进行了清算，陈循、王文等或被诛杀、或被流放，抗敌功着的于谦也被斩于刑场。时高谷已年逾花甲，早在景泰年间因内阁王文挤兑，就已萌退意，自己又是景泰重臣，英宗虽未罪己，但也不敢再恋相位。于是上书英宗，请求告老，英宗阅书，对左右大臣说：“谷在内阁议迎驾及南内事，尝左右朕，其赐金帛袭衣，给驿舟以归。”于是恩准致仕，并赐金帛袭衣，安排驿舟，不久后又赐敕奖谕。
这篇“奖谕”十足耐人寻味，文章前半部说了一通高谷“以智识文学，执经事朕”、“怀旧之私实有切于朕意”之类情谊话。后半部话锋一转，云：“卿之归也，日与亲戚故旧徜徉邱园，展契阔之深怀，道朝廷之盛事，清风高致，足以励廉而革贪；盛德雅望，足以敦化而善俗，则卿亦永有终誉焉。”柔言中隐含威胁，其实是警告高谷归里后言行小心，否则，就谈不上“永有终誉”。
高谷归后，隐居故里，绝口不谈景泰至天顺初年的朝廷变故，后来高谷在东台逝世，终年七十岁。成化初年，尚书姚夔进言“高谷进退有道，始终不渝，宜加赐救”，明宪宗乃赠高谷为太保，谥号“文懿”，祀于乡贤祠。
高谷入阁，清廉正直，持议公正，且不避权要，遇事无偏私。给谏林聪因忤重臣，被构罪廷讯，欲论重辟。从南直隶视察灾情回都，闻讯竭力营救，独陈其冤，使林聪获赦并官复原任。大学士陈循因自己的儿子未能中试，遂攻讦考官刘俨、黄谏等人阅卷不公，高谷受命复阅，力言刘、黄无私，且仗义执言云：“贵胄与寒士争进，已不可，况不安义命，欲因此构考官乎？”
高谷又以荐贤任能，提掖后进为任事，先后两次主顺天乡试，皆称得人。曾上以此为疏主张内外诸司应惟贤是用，又说经筵日讲，关系圣德，荐大理卿陈询