是说，眼下是处于势均力敌的状况。
但很快便有人反驳。对方既然有所防备，兵马数量众多，那便是偷袭计划失败了。大军深入关中郡，补给困难，人员困乏，身处危机之中，应该即刻撤离是非之地。否则一旦被困死在这里，粮食耗尽之后，便是全军覆灭之局。
双方争执不下之时，殷仲堪拍了板，决定撤军。很简单，殷仲堪可不想将大军葬送在这里。这里是杨佺期的地盘，兵马粮草他都充足的很，自己的兵马在这里不占天时更无地利人和。既然知道这是陷阱，何必还要留在陷阱之中。退回荆州，才是最明智的选择。
于是乎，荆州大军耗费了一个多月准备和行军抵达汉中，只打了一仗便立刻偃旗息鼓，拔营撤离。
然而来时已经不易，撤退更是艰难。
得知殷仲堪撤兵的消息，杨佺期自然不能放过他。除了大军紧紧追赶之外，还派出人员乘坐小船竹排顺汉水而下，超越殷仲堪的兵马前头进行设伏阻拦。联络山中巴獠部落一起行动，在回去的山道上肆意滋扰。
这一切让殷仲堪的兵马苦不堪言。在经历了噩梦般的十余日之后，殷仲堪率领已经折损近半的兵马走了出来，回到了安康县。
然而，事情远远没有结束。杨佺期已经下令进攻荆州。豫州已失，杨广已死，救援豫州是不可能的。既然如此，便让殷仲堪来承受怒火。他要拿下荆州，之后再一举歼灭桓玄。
殷仲堪刚刚抵达安康，便得到了巴东郡遭袭的消息。巫县已经失守，杨佺期在巴东边境的两万大军已经长驱直入，攻向上庸。而后方追击的杨佺期的兵马已经越过了安康县的边境。
殷仲堪立刻意识到，杨佺期是要断了自己的退路，将自己歼灭于此。另一支兵马一旦攻克上庸郡，自己后路便断了。原本打算在安康县同杨佺期的追兵战一场的，现在却绝对不能这么干了。对方两路兵马夹击而至，绝不能让他们将自己困死在安康。
殷仲堪当机立断，立刻下令继续撤离。从东北方向的魏兴郡夺路而走，一路仓皇往东南，沿着沔水抵达襄阳。又命殷旷之轻骑赶往江陵，集结江陵一万多兵马做好守城御敌的准备。
等殷仲堪抵达襄阳之时，尚未来得及松一口气，战况传来，荆西之地的上庸