家属迁至邺城，并表其子马超为偏将军，统率马腾的部曲。后来马超反，张既从曹操破马超于华阴，西定关右，乃以张既为京兆尹，招怀流民，兴复县邑，百姓怀之。
天子册封曹操为魏公，张既与毛玠、崔琰等担任魏尚书，后出任雍州刺史，曹操对张既说：“你回到故土任刺史，可以说是衣锦还乡了！”张既从护军将军夏侯渊，讨伐于枹罕称王为乱三十余年的羌人宋建，另又攻取临洮、狄道，平定陇右。当时，曹操欲迁徙民众以充河北，陇西、天水、南安三郡民众风闻后引发恐慌，张既使三郡内为将校官吏者免除民众税捐，让他们整治屋宅，筑水碓，显示无迁徙陇右郡民之意，民心遂安。
曹操征张鲁，别从散关入，氐王窦茂率部万余，恃险不服，张既讨伐叛氐，收其麦以给军食。张鲁降后，张既建议曹操拔汉中之民数万户以充实长安及三辅。刘备攻汉中，另遣将军吴兰、雷铜进攻武都，张既与都护将军曹洪破吴兰于下辩；刘备占据汉中天险，曹操数攻不克，军士多有逃亡，不得已放弃汉中，又恐刘备北取武都氐人而进逼关中，问计于张既，张既答道：“可劝氐人迁出，到粮食充裕的地方避敌。并且对先至者予以重赏。如此氐人必争相赶往。”曹操依计行事，遣张既至武都，徙氐人五万余至扶风、天水两郡定居。
此时，武威人颜俊、张掖人和鸾、酒泉人黄华、西平人麹演等各举郡反叛，自号将军，相互攻击，颜俊遣使送母及子诣曹操为人质，以求援助。曹操问计于张既，他答道：“颜俊等内存祸心，今番若救之，待其势力强大后必定复反，不如坐观虎斗，使其两败俱伤，我们再效法卞庄子刺虎，坐收其毙。”曹操称善，一年后，和鸾杀颜俊，武威王秘又杀和鸾。
曹操薨，曹丕即位魏王，此前，朝廷没有设置凉州牧一职，自三辅以至西域，皆属雍州，曹丕时重新开始置凉州刺史一职，以安定太守邹岐为刺史。张掖人张进胁持郡守举兵拒邹岐，黄华、麹演亦驱赶本郡太守，举兵响应，张既领兵至凉州为护羌校尉苏则壮大声势，最终苏则成功平定叛乱，张既进爵都乡侯。
凉州卢水胡伊健伎妾、治元多等反，河西大扰，称帝即位不久的魏文帝曹丕十分忧虑，说：“非既莫能安凉州。”乃召回邹岐，另以张既为凉州刺史，诏曰：“