告诫他们将文体返归正道，不久晋为礼部右侍郎，掌管祭酒事务。丘濬认为真德秀着的《大学衍义》对于治国平天下的条目叙述得不完备，就博采群书补充了这些内容，写成《大学衍义补》160卷。孝宗继位后，他向孝宗呈上此书，孝宗认为该书不错，赏赐黄金纸币奖励丘濬，并命令有关部门刊印发行，特别提升为礼部尚书，掌管詹事府的事务。
《宪宗实录》书成，加封丘濬为太子太保，兼任文渊阁大学士，参预机要事务。尚书入内阁任职从丘濬开始，丘濬当时七十一岁，他认为《大学衍义补》所撰述的都可见之行动，请求摘其要点奏报皇帝，并下内阁商议付诸实行，孝宗批准他的请求。丘濬上言道：“臣在成化年间见到彗星三次出现，遍扫三垣，方圆五六百里大地发生地震。近来彗星出现在天河，每天地震天鸣不已，怪鸟在宫中鸣叫三声。《春秋》二百四十年，记载出现慧星三次，地震五次，飞禽两次。现在却在二十年之间屡次出现，非常令人害怕。希望陛下体会上天的仁爱，想到祖宗创业的艰难，修身清心以立根本，而适应政事的需要，谨慎对待自己所喜好、崇尚的东西，而不被异端所迷惑，节约财物，不至于耗费国家财富，公正地使用人才，不偏听偏信，禁止以私事谒见请托，明确义理，保持节俭的品行，勤于政务，那么，阿谀求宠、邪门旁道的乱政之徒就不敢为非做歹，天灾就可以清除。”接着列举二十二种时弊，孝宗都接受他的意见。
丘濬，在位时曾经用宽大为怀启发孝宗，以忠厚来改变士风，只是生性偏狭，曾与刘健在商议事情时，因意见不合，竞把帽子摔下地，言官说话不中他意，丘濬总是当面驳斥，他与王恕关系紧张，以至不说话。考核群吏，王恕上奏章要罢免二千人，丘濬则请求未满三年的仍任原职，无特别贪婪残暴劣行的官吏仍留任，留下九十人。王恕争辩无结果，要求离职。太医院判刘文泰曾经与丘濬家有过来往，刘揭发王恕失职，王恕怀疑刘是受丘濬指使，而舆论大哗，说疏稿是丘濬写的。王恕竟由此事被罢官，人们由此对丘濬很有看法，给事中毛珵、御史宋德、周津等纷纷上奏章弹劾丘濬不能位居相位，孝宗不理睬。
丘濬在朝廷的最后几年，他陆续呈上了十三份奏章请辞还乡，但却没有得到孝宗的批准，便在任上去世，终