又极力陈明朝政的败坏，请求皇帝奋发有为，与天下一起有所变化。而且极力说明辽东一带危急，必定难以永保安全。皇帝都将其置于一边不加理会。
李三才有雄才大略，在淮上一带任职时间较长，因力主抑止税监而深得民心，待淮、徐一带发生灾害，他又请求赈恤，减免马价，淮上之人深为崇敬他，逐渐地升至户部尚书。内阁缺人，有人认为不应当专门只用文学侍从，应该让地方官也参加补缺，意在让李三才回朝，等到都御史出现空缺，李三才按照次序被召进朝中。由此忌恨他的人日众，诽谤他的言论四起，工部郎中邵辅忠弹劾李三才表面上是忠臣，其实是个大奸贼；表面上正直，实质上狡猾，列举他贪污、虚伪、险恶、专横四大罪状，御史徐兆魁接着弹劾。
李三才上了四份奏疏为自己极力辩护，而且乞求退休，给事中马从龙，御史董兆舒、彭端吾，南京给事中金士衡相继为李三才申辩。大学士叶向高说李三才已闭门在家等待被皇上治罪，为朝政考虑，应立即定下他的去留问题。皇帝一概不予回复。不久，南京兵部郎中钱策，南京给事中刘时俊，御史刘国缙、乔应甲，给事中王绍徽、徐绍吉、周永春、姚宗文、朱一桂、李瑾，南京御史张邦俊、王万祚，又连着上奏弹劾李三才。
而给事中胡忻、曹于汴，南京给事中段然，御史史学迁、史记事、马孟祯、王基洪，又上疏为他申说救助。一时间，朝臣争辩，是非难定，过了几个月还没有平息。顾宪成于是写信给叶向高，极力称赞李三才廉洁、正直，又写信给吏部尚书孙丕扬极力为李三才辩护。御史吴亮素与李三才要好，就把两信附在邸报之中，由此议论更为喧哗。乔应甲又上了两疏极力攻击李三才，列举了李三才十贪五奸之事。皇帝都不闻不管。李三才又再三请求辞职，奏疏上了十五道，过了很久不见命令下来，于是就自己卸任走了。皇帝也没有怪罪他。
李三才回乡定居后，恨他的人害怕他再次被启用，因而对其进一步加以构陷，御史刘光复弹劾他盗用皇木二十二万根营建私邸，而且说李三才与于玉立遥相呼应，他想任用的，吏部就为他推举。李三才上疏申辩，请求派遣宦官调查，给事中刘文炳、御史李征仪、工部郎中聂心汤、大理丞王士昌，帮助刘光复攻击李三才，李征仪、聂心汤，都