共撤防兵五千六百人，同时解散了水勇和乡勇，这一举动引发了浙江人民的强烈不满。
十月二十三日，镇海的士绅、渔民、船户和商人聚集一千余人，前往伊里布的住处请愿示威，反对撤兵妥协，并要求驻军坚持抵抗，保护人民的安全。然而，伊里布不顾民众的反对，坚持妥协政策，并与广东的琦善相互勾结，频繁通信，鼓吹失败主义论调。
十一月二十一日，琦善报告广东会谈的情况，义律提出必须另划一处给英军才能退还定海，这引起了道光帝的不满。道光帝命令伊里布全力围剿英军，不得示弱。然而，伊里布依然拖延观望，畏敌不前，反而向道光帝奏称“制夷之策，在严守不在力战”。
道光帝再次谕令伊里布，强调兵贵神速，务必一鼓作气消灭英军，否则将严厉问责。但即使如此，伊里布仍然按兵不动。道光二十一年（1841年）一月三日，琦善擅自与义律签订《穿鼻草约》。伊里布在得知消息后，继续为琦善的行为辩护，并声称江、浙两省的军队大多无能怯战，想要进剿必须依靠精锐之师。他的言论被道光帝斥责，并改命江苏巡抚裕谦为钦差大臣赴浙进剿，令伊里布回任两江总督。
闰三月，伊里布被召回京城听候谕旨，两江总督一职由裕谦接任。四月，伊里布被押解至京城接受审讯。六月，朝廷下令 交 大臣商议定罪。不久，伊里布被革职，并发往军台效力赎罪，以示惩儆。
四、签约病死
道光二十二年（1842年），随着英军的持续进逼，清朝政府意识到议和可能是唯一的选择。一月，英军发出照会，要求道光帝派伊里布前去议和。浙江巡抚刘韵珂鉴于伊里布为英军所认可，上奏请求派遣伊里布前往浙江军营效力，以阻止英军进一步侵犯内地。这一消息在浙江军民中引起了极大的不满，人们议论纷纷，认为重新起用伊里布是对侵略者的妥协。
然而，道光帝已决定向英军妥协求和，于是赏给伊里布七品衔，并命令耆英将伊里布带到浙江差遣。同时，命令奕经设法与英国交涉，以防止英军进一步蹂躏地方。四月初二日，伊里布抵达杭州后，与爱新觉罗·奕经、刘韵珂联手，力主“抚夷”政策，希望通过缓和的方式来解决问题。他直接与英军进行书信往来，表示愿意奏请皇帝