安，星夜驰入淮安城。不久，倭寇果至，李遂督参将曹克新御之于姚家荡。此时，右通政唐顺之闻倭寇犯江北，急令总兵官卢镗拒敌于崇明，自率副总兵刘显驰援李遂，与李遂一同大败倭寇于姚家荡，倭寇退至庙湾立寨固守。与此同时，刘景韶亦大败倭寇于印庄，追至新河口，焚斩甚众。接着也会兵庙湾，庙湾之敌负隅顽抗，李遂主张列围而困之，唐顺之以为非计，率兵逼近敌寨以火攻之，不能克。
此时，拒敌崇明的卢镗连连告急，唐顺之只得回援崇明，李遂围困倭寇于庙湾一月有余，乃令刘景韶塞堑攻寨，火焚其舟。倭寇乘雨夜逃遁。李遂追敌至虫段子港，斩杀甚众。唐顺之回师崇明，督卢镗、刘显进击倭巢，一再失利。正值盛暑，唐顺之居舟两月，辛劳染疾，返回太仓。崇明倭寇乘机流窜江北，欲犯扬州。刘景韶连战连胜，围之于刘庄，会刘显来援，李遂传命诸军尽归刘显指挥，攻破其巢，追至白驹场，全歼倭寇。于是江北倭患悉平。
不久，在江东代替张鏊任尚书。江北池河营的士兵因为千户吴钦革除他们的帮丁，就殴打吴钦并将他缚在竿子上。帮丁是操练防守士兵的每人给一丁兵饷，以资往来费用。李遂已被召封为兵部左侍郎，因言官推荐而提升为南京参赞尚书，由他来镇压安抚。营卒被妖僧绣头所惑，又散布流言。李遂将绣头捕住杀掉，再三向队伍申严纪律，书写军士的姓名籍贯，年龄相貌，系牌腰间，军士才止息。因多次督兵抗倭，屡立战功，迁南京兵部右侍郎，未几，进南京兵部尚书。
衢州父老感思德政，于城北李遂原讲学处塑李遂铜像，重约2000斤，并建李公遗爱祠，祠及碑均列入省二级文物保护单位。
李遂，博学多智，长于用兵，但也善于逢迎，皇帝准备重新建造三殿，李遂奏说五河县泗水中涌现大杉一棵，这是川泽效灵，为助圣主鼎新革故，皇帝大喜。李遂又进献白兔，皇帝为此派遣官员告于宗庙，从此皇帝更加宠爱李遂。以老致仕，辞官归隐，卒年六十三，赠太子太保，谥号襄敏，着作有《督抚经略疏》等。