李秉及都督漕运的王竑才堪大用，此事下交廷议，吏部尚书王翱、大学士李贤也表示赞同，宪宗于是召李秉为都察院左都御史、王竑为兵部尚书，诏命下达之日，朝野欢庆。
旧例，每次大计天下官吏，贪、残、罢、软罢官者有定数。李秉负责考察升黜百官后，将此数增加一倍，处置了一大批庸劣酷贪官员，因此颇遭人非议，最终被排挤去辽东、大同整饬兵备。在大同，他罢免了镇守太监李良、总兵郑宏，起用被关押的将领崔胜等人，取得了凤皇山大捷，宪宗亲降玺书嘉奖。
宪宗命李秉以左都御史衔提督军务，与武靖伯赵辅率军兵征讨建州女真部。明军分左右哨五道各万骑从抚顺关出塞，明军攻至建州，大获全胜，共擒九十九人，斩五百三十六人。朝鲜也遣中枢府知事康纯率万人协助明军作战，擒二十余人，斩三百余人，战后，宪宗赐以麒麟服，加衔太子太保。
吏部尚书出缺，宪宗亲自提名李秉继任，李秉早就痛感天下变乱，实出于仕途不清，贪官横行，因此锐意澄清吏治。慈懿太后钱氏去世，宪宗生母周太后不愿钱太后与英宗合葬裕陵，阁臣彭时、商辂等力劝宪宗允许合葬一事。随后，李秉与礼部尚书姚夔等九十九位廷臣也表示同意，宪宗仍担心违背周太后的意志，此后更发出为钱太后另择葬地的谕旨，姚夔等两百余名朝臣一起伏在文华门哭请，宪宗下令群臣止哭退去，群臣叩头拒命，声言：“不得钱太后合葬旨意，绝不敢退下。”自巳时跪至申时，宪宗与周太后无可奈何，这才同意合葬一事。
朝廷原有八千余名监生等候选任，李秉分别对他们进行了严格考核，罢黜庸劣不肖者数百人，适逢朝觐考察官吏时，李秉又打破情面，降罢多人。这些人中多有执政要员的乡党门生。李秉因此得罪了不少人，朝中出现一股倒李的暗潮，吏部侍郎崔恭年资较深，升任吏部尚书的呼声很高，李秉越过他做了尚书，他因此对李秉心怀不满。吏部右侍郎尹旻原来很受李秉信任，后来李秉发现此人心术不正，逐渐疏远了他，尹旻对李秉也有怨恨。他们二人与反李势力结合起来，上疏弹劾李秉，说他专擅不法，揽权结党，列了十二大罪状，宪宗召集廷臣会议，崔、尹等人皆攻击李秉徇私变法，宪宗于是削去李秉太子太保之衔，令他以吏部尚书之职致仕。