返回。
张辽向夏侯渊表示，昌豨现在处于犹豫的状态，自己打算亲自劝降他。
随后张辽派人前往传话，假称曹操有命令让张辽宣布。
昌豨听到后从城上下来会见张辽，张辽向他表示先归附曹操的人有大赏，昌豨表示自己愿意投降。
随后张辽孤身登上三公山，前往昌豨的家中，拜见其妻子儿女。昌豨见状非常高兴，便随张辽一起去见曹操。
曹操让昌豨先回去，待昌豨走后，曹操责备张辽的行为，认为大将不应该做出这种行为。
张辽表示谢罪，表示自己假借曹操的威信，昌豨一定不会加害自己。
建安七年（202年），张辽在黎阳（今河南浚县）讨伐袁谭、袁尚有功，曹操任命其为中坚将军。
此后张辽跟随曹操攻击据守邺城（今河北临漳）的袁尚，久攻不下。
曹操率军返回许昌（今河南许昌），张辽同将领乐进奉命讨伐阴安（今河南清丰），攻克阴安后，张辽将当地民众迁徙到黄河以南地区。
建安九年（204年），张辽再次跟随曹操攻打邺县，攻破邺县后。
张辽单独被派往赵国（今河北邢台）、常山（今河北石家庄）一带，招降太行山贼寇以及黑山军的孙轻等人。
次年张辽随曹操攻打袁谭，击败袁谭后，张辽奉命前往海滨，击败辽东公孙度委任的营州（今河北、辽宁一带）刺史柳毅，此后又联合广平（今河北鸡泽）太守何夔平定了矣平的从钱等人。
建安十一年（206年），张辽返回邺城时，曹操亲自出来迎接他，并同他一起坐车而回，此后任命张辽为荡寇将军。
同年，张辽跟随曹操攻击荆州（今湖南、湖北一带），张辽先后平定江夏（今湖北新洲）诸县，回军驻扎在临颍（今河南临颍），被封为都亭侯。
建安十二年（207年）曹操打算征讨柳城（今辽宁朝阳），张辽向曹操进言。
曹操率军北伐，许都（今河南许昌）空虚，如果荆州牧刘表派遣刘备率军攻击许都，那事情就危险了。
曹操向张辽表示，刘表不能任用刘备，遂率军出征。
同年八月，曹操登上白狼山，遭遇乌桓人。