俞大忠见进不了神臂城，只得愤愤下了山前去寻昝万寿。营垒的守卫告诉他，昝大人已经前往了富顺城。俞大忠知道昝万寿避而不见，却也无可奈何，只得怏怏前往播州军营垒去见杨文。这次他到是顺利进了播州军营垒，但并没有见到杨文，接见他的是杨邦宪。
经过几番挫折后，俞大忠不再趾高气昂，嚣张气焰收敛了不少，但仍不改居高临下的口气。杨邦宪本就对俞兴父子不满，见他这副样子那里会有好脸色，当下面色一沉，冷冷地说道：“杨氏世代受朝廷恩典，为大宋征伐乃应有之义。神臂城乃播州子弟浴血奋战从鞑子手中夺取，自当禀报朝廷，不需制司俞大人劳神了”。
杨邦宪实际在告诉俞大忠，播州杨氏树大根深，颇为朝廷倚重，并非是任人拿捏的软杮子。至于俞兴想凭四川制置使的官威，迫使杨氏交出夺回神臂城的功劳，想都别想。俞大忠三十余岁，比杨邦宪的年龄大了不少，心中对其颇有轻视之意，那里受得了这般冷语相向。
感觉被冒犯的俞大忠，心中顿时怒火中烧，正欲暴起发难，却惊觉自己当下在播州营垒。杨邦宪身边站满了彪悍的军士，而自己亲兵都被拦在了营垒外面，身边只有两个随从而已。昝万寿避而不见，播州杨氏软硬不吃，这让俞大忠傻了眼，只得带着人退回到了神臂城对岸的黄市。
本以为摘桃子的神臂城之行结果却是两手空空，还遭到冷遇和羞辱，这让俞大忠既咽不下心中的怒，也不甘心一无所获。他一面派人回重庆府向俞兴报告，一面准备搞事情。在众人眼中接管之事本是肥差，随行的心腹们本以为会大捞一笔钱财，结果钱没有捞到还被石头砸得鼻青脸肿，纷纷撺掇俞大忠要给昝万寿和播州杨氏点颜色看看。
神臂城离重庆府约三百里的水路，即便轻快小船来回也得三四天时间。俞大忠在心腹的鼓动下早已是利令智昏，决定不等俞兴的回信，便开始了自己的报复行动。
俞大忠的报复其实就是拦截霹雳军和播州的船只。神臂城之战俞兴损失了二万人，但这些人大都是步军，其水军并没有伤筋动骨。俞兴退回重庆府后，为了防止刘整顺流而下，他仍在黄市留了一千水军和近百艘战船。在昝万寿指挥军队与纽璘在神臂城激战之时，这支宋军的水军力量并没有前来助战，