《旧唐书》《资治通鉴》中均提到李密自斩杀翟让后，内心的骄傲与日俱增，仿佛登上了权力的巅峰，便开始不体恤士兵。在他看来，这些士兵只是自己手中的棋子，只要自己有足够的粮食，便足以维持他们的生计。
一日，李密视察粮仓，看到堆满粮食的仓库，心中满是得意。身边的亲信对他说道：“魏公，如今仓库粮食充裕，可是将士们有功却难以得到赏赐，这恐怕不利于军心稳定啊。”
李密却摆摆手，满不在乎地说：“无妨，钱财不过身外之物，只要有粮食，何愁将士不为我所用。”
徐世绩听说李密的言语后，心中满是忧虑。在一次宴会上，酒过三巡，徐世绩终于忍不住，当众开口讽刺李密：“魏公如今地位显赫，可对将士们的赏赐却如此微薄，难道不怕军心有失吗？”
李密心中一凛，脸色顿时阴沉下来，他强忍着怒火，说道：“徐将军这是何意？我李密对将士们不薄，粮食充足，何来赏赐微薄之说？”
徐世绩见李密不悦，心中暗叹一声，直言道：“魏公，将士们出生入死，为的是什么？还不是为了能有一份应有的奖赏，让他们和家人过上好日子。没有赏赐，如何能激励他们奋勇杀敌？如今钱财匮乏，你反倒是用重金安抚刚刚归附的人，我们瓦岗军的兄弟们怎能没有意见？”
李密被说中心事，心中更是不满，脸色愈发阴沉。宴会结束后，他回到营帐，心中对徐世绩的不满更加强烈。
几天后，李密召集众将，宣布道：“徐世绩将军战功赫赫，如今黎阳需要一位能征善战的将领镇守，我决定命徐将军前往黎阳。”
徐世绩心中一沉，他明白李密的用意，这是明显要疏远自己。他拱手说道：“末将遵命，只是担心黎阳战事吃紧，还望魏公慎重考虑。”
李密微微一笑，心中却在冷笑：“你如今已不再是当初的我不可或缺的将领，黎阳之地，正适合让你去好好施展你的‘才华’。”
徐世绩无奈，只能领命而去。他心中明白，自己已经失去了李密的信任，未来的路将更加艰难。
而李密则站在营帐前，心中暗自得意。他以为通过这种方式，可以让所有将领都对他敬畏有加，却不知他正在一步步走向失败的深渊。