立功赎罪，恐怕必然招致失败，便暗中策划将李广利扣押起来，以阻止其盲目冒险。李广利觉察了长史的策划，将他斩首，恐怕军心不稳，发生骚乱，便率军由郅居水向南撤至燕然山。单于知汉军往返行军近千里，已很疲劳，便亲自率领五万骑兵袭击汉军，汉军死伤甚众。
李广利，原想冒进，立功赎罪，却遭此大败，心情自然更沉重，又忧虑着家中老少的生命安全，而且本来指挥才能就平庸，因此完全失去了两军对垒中最必要的警觉。匈奴趁汉军不备，于夜间在汉军营前悄悄挖掘了一条濠沟，有几尺深，而后于清晨从后面对汉军发起突然的袭击。
汉军遭匈奴军袭击，想出营列阵抵敌，却发现军营前有一条深沟，进退不得，军心大乱，丧失斗志，再加疲劳，完全失去了抵抗力，遭到惨败，七万汉家儿郎就这样全部丧送在李广利手中，给国家民族造成极大的损失。李广利兵败后投降匈奴，狐鹿姑单于知道他在大汉身居高位，便将女儿嫁给他，对他的尊宠超过了卫律，李广利在大汉被囚禁的妻儿家人，在李广利投降后，悉数被杀，族灭。
李广利，投降匈奴虽换来一时的富贵，也好景不长。
卫律，本是匈奴人，生长在汉朝，并在朝廷作官与李广利兄弟交情颇好，因此李延年曾在汉武帝面前举荐卫律，出使匈奴。李延年因李季之事伏法，卫律怕被株连，便投降匈奴。卫律见李广利投降在自己之后，而受到的尊宠却在自己之上，心生嫉妒，欲加害李广利。
李广利投降一年多后，卫律趁单于母亲生病，遂买通巫师，让巫师谎称病因是由于去世的单于在发怒。因去世的单于过去出兵攻伐汉时，曾发誓一定要捉住贰师将军李广利用来祭神，而今李广利已在匈奴，为何不杀了祭神？先单于正发怒责问此事。单于对巫师的话信以为真，便将李广利杀掉，用以祭神。
李广利，原以为用屈膝投降可以换一条命，屈辱偷生，苟安于世，结果却遭到如此可悲可耻的下场。李广利临被杀时，怒骂道“我死必灭匈奴！”李广利死后，匈奴接连数月雨雪不断，家畜死亡，百姓疫病不断，种植的黍穄也歉收，单于害怕了，于是为李广利立了祭祀用的祠堂以慰亡灵。
李广利，破大宛，杀掉国王，因此西域各国慑于汉朝的威力，