当时军队大多都在后方，而在曹操身旁的人很少，众人都为此感到惊慌。
张辽劝曹操出击，曹操将自己手持的麾旗交给他。
之后张辽率军出击，斩杀乌桓单于蹋顿，并降服二十多万人。
建安十三年（208年）六月，当时荆州还没有平定，张辽奉命前往长社（今河南长葛）驻扎，快出发的时候，军中有谋反的人，在夜晚放火呼叫，军营因此被扰乱。
张辽让身边的卫士别动，表示不是全营造反，只是部分叛乱的人，打算制造混乱而已。
随后张辽传令军中，让不想造反的士兵安心静坐。张辽亲自率领几十名亲兵，伫立在军营中间。
不久后，就抓获了制造混乱的人，张辽将他杀死。
建安十四年（209年）十二月，袁术残部陈兰、梅成煽动氐六县（今安徽六安）的民众叛变，曹操派于禁、臧霸等领兵征讨梅成，命张辽督率张合、牛盖等人征讨陈兰。梅
成假装投降于禁，等于禁撤军后，梅成就跑去陈兰会兵，一起遁入灊山（今安徽潜山西北）。
灊山有一座天柱山，高二十里，山势险峻，道路狭窄艰险，宽度仅容一人通过，陈兰等人在上面筑起营垒据守。
张辽打算进军，众将以路途险阻为由劝他，张辽则表示谁勇敢谁就能抢占先机。
随后张辽前往山下安营，之后率军攻击，斩杀陈兰、梅成二人，尽数俘虏他们的部众。
曹操嘉奖张辽在此战中的功劳，增加了他的食邑，并授予他假节。
建安十九年（213年）五月，孙权率军攻击皖城（今安徽庐江），张辽从合肥（今安徽合肥）率军驰援，到硖石听闻城池被攻破，便在硖石以南修筑堡垒，称之为南硖戍。
建安二十年（215年）曹操征讨孙权返回后，张辽同乐进、李典等人率七千多士兵驻扎在合肥。
之后曹操征讨汉中张鲁的时候，留下一封信给护军薛悌，并写上“贼至乃发”四个字。
同年八月，孙权率领十余万军队围攻合肥，众人打开信件，曹操在信中命令，张辽、李典出击迎战孙权，乐进守城，薛悌不得参战。
众人都感到疑惑，张辽向众人表示，曹操的意思是