石来平卖，宪宗都听从了。彭时以旧臣受到倚重，遇有事情他都极力争执，毫不回避。而那时候宪宗怠于政事，大臣很少得到召见。万安同在内阁，交结显贵的宦官和外戚，使君臣上下隔绝，彭时颇为担扰。
彭时再次发病，又请求致仕，宪宗安慰挽留，彭时无法离去。彗星再次出现，彭时因而上书论关于为政之本的七件事：不要惑于佛事，浪费金钱；传圣旨专门委任司礼监，不要再任别的人，以防作弊；召见大臣议论政事；对近幸之人赐给太多，工匠冒官太滥，而犯重罪判死刑和流放的人，又不尽合法，应戒除滥加刑赏；虚心接受劝谏，不要厌恶恳切的直言；告诫廷臣不要模棱两可，凡是政令失当，应该直言论奏；清理牧马草地，减少权势要人的庄田。这些意见都切中时弊。
宁晋伯刘聚为他的从父太监刘永诚请求封号和谥号，并请赐给祠堂匾额，礼部引惯例驳回。宪宗特赐“褒功”匾额，命内阁拟好封谥，彭时等人说：“如果给刘永诚封谥，将来守边的宦官都援引此例来要求，变更祖宗之法就是从今日开始了。”有人援引北宋权宦童贯封王之事，彭时说：“童贯封王在宋徽宗末年，怎能是盛世之事？”此事于是被搁置。
彭时常常因为有灾变而上书，他的奏疏有的留中不发，有的发下有关部门，又多被阻隔，彭时因此郁郁不得志，他共休假七次，宪宗总是命御医去给他看病，还多次派宦官赏赐给他财物。彭时病逝，终年六十岁，临终时对前来问候的从弟说：“生死是常理，没有什么值得惊讶的。只是冒居高位，上不能报国，下不能终养老父，这是我愧疚的。”最终没有一句话提及家事。宪宗闻讯后，非常哀伤惋惜，为他辍朝一日，追赠特进光禄大夫、左柱国、太师，谥号“文宪”，另赐钞一万贯，命有关部门予以安葬，任命其子彭颐为尚宝司丞。
彭时为立朝三十年，孜孜奉国，刚直敢言，持正稳重，务以大局为重，是明代天顺、成化年间正直阁臣的杰出代表之一。