殷，韩信归汉也”，此后担任着偏将军、封都亭侯。
后来张合颇受曹操重用，交给其部队，让他跟随自己攻打邺城，占领了邺城。张合又跟随曹操到渤海攻打袁谭，他单独率军包围了雍奴，击溃了袁军。随同曹操征讨柳城的时候，张合和张辽担任先锋，张合因为屡立战功升任平狄将军，张合还领兵征讨东莱郡，讨伐管承，还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张合跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。张合、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。
曹操西征张鲁，抵达陈仓，准备从武都郡进入氐族部落，氐族人挡住道路，曹操派张合统帅大军讨伐梁兴和氐族首领窦茂所部。不久从散关入汉中，派张合率五千步兵在前开道，一直到阳平。张鲁投降，曹操回军，留张合与夏侯渊、徐晃等守汉中，以拒刘备。同年，张合别督诸军南下进攻巴东、巴西二郡，将当地百姓迁徙到汉中。刘备派征虏将军张飞为巴西郡太守，抗击张合，张合率军进至宕渠，与张飞相拒五十余日，张飞率精兵万余人从小道进攻张合，由于山道狭窄，首尾不能相救，张合大败，仅带十余人弃马爬山逃跑，之后收拢败兵，撤回南郑，升迁荡寇将军。
刘备进攻汉中，屯于阳平，夏侯渊、张合、徐晃等率军迎击，张合负责防守广石。刘备亲自率精兵万余人，分为十部，夜间猛攻张合，张合率亲兵与蜀军进行对抗，刘备不能攻克张合，写信要求益州拨发援兵，诸葛亮一时迟疑不缺，从事杨洪劝道：“汉中是益州门户，没有汉中就没有益州，还迟疑什么？”诸葛亮恍然大悟，立刻发兵增援，其后，刘备退走马谷，放火烧营，夏侯渊知张合兵少，调部分兵力来增援，并救火，途中遇上刘备军，被蜀军所杀，曹军大败，张合同败军一起退守阳平关东，而当刘备听闻夏侯渊被斩杀，只说：“要杀就杀张合，杀夏侯渊有什么用！”
司马郭淮和督军杜袭收敛散卒，郭淮见状，便说：“张将军是国家的名将，刘备也忌惮他。现在形势紧迫，只有张将军才能安定军心。”于是众人推举张合出任主帅，指挥士兵，布置营寨，军心安定。不久，曹操遣使令张合假节。刘备欲渡汉水来攻，见魏