最终杨义臣大获全胜，成功地击败了这群穷凶极恶的贼寇，并将其中不少人收归己用。
随后，杨义臣派遣驿卒快马加鞭，将此次辉煌的战果详细地上奏给了身在京城的皇帝。隋炀帝得知这个消息后，不禁大吃一惊，长长地叹息一声说道：“朕先前竟然不知这贼势已然如此严重，杨义臣所降服的贼人怎会如此之多啊！”
一旁的大臣虞世基见状，赶忙上前一步，拱手作揖道：“陛下息怒，虽说这些小贼数量众多，但终究只是乌合之众，成不了什么气候。然而如今杨义臣大破贼军之后，手中掌握着重兵，且长期在外统兵作战，此乃最为不妥之处啊。”
隋炀帝听了虞世基这番话，心中暗自思忖片刻，觉得甚有道理。他担心杨义臣拥兵自重，日后可能会生出祸端来。于是当即下令，火速召回杨义臣，同时还下令解散其所属军队。接到圣旨后的杨义臣虽心有不甘，但也只能无奈遵旨行事。就这样，原本已经被打压下去的起义军失去了强大的对手，趁势又重新崛起，再度变得猖獗起来。
长期逗留在江都的隋炀帝，还在整日沉迷于女色和享乐之中。他建造了豪华的迷楼，广纳吴地之吴娃（指江南美女），专门用来享乐，过着花天酒地的生活，醉生梦死，完全不顾国家大事和百姓疾苦。
正如那时船夫的哀唱：“我兄征辽东，饿死青山下。今我挽龙舟，又阻隋堤道。方今天下饥，路粮无些校。前去三千程，此身安可保！寒骨枕荒沙，幽魂泣烟草。悲损门内妻，望断吾家老。安得义男儿，焚此无主尸。引其孤魂回，负其白骨归！”（出自唐代诗人褚载的《吊古战道》）。
迷楼是隋炀帝时期所建离宫别馆的一部分。离宫别馆旧指正宫之外供帝王出巡时居住的宫室，主要用于帝王的游猎、休闲，同时也是处理政务的政治中心，还涉及宗教、军事等活动。
到了隋炀帝杨广这里，离别公馆却变成了供其极尽享乐之事的地方。楼阁上下，轩窗掩映，幽房曲室，玉栏朱柱，互相连属，回环四合，曲屋自通。步入迷楼，令人意乱神迷，不知所在。隋炀帝在其中沉迷于享乐，不理政事，满耳笙歌满眼花，满楼珠翠胜吴娃。
迷楼以其错综复杂的结构、精美的装饰和无尽的奢华令人叹为观止。隋炀帝在这座豪华