一年正是他的三儿子张我续，参加进士会考，张国彦受命进京接受任命时，特意去看了张我续，还见到了与儿子一起参加考试的同科会试第一名萧良有。萧良有虽然考试第一，但在殿试时，张居正的儿子却被点了状元，这是因为太监冯保从中作梗。
再次入京，为顺天府尹，在任上，他以京师根本地，多一切无名之需，又岁大旱疫，脂膏日竭，于是借着因旱祷雨之际，向万历帝陈言京都百姓困苦状况，请求实行宽恤之政。当时，正是张居正主政内阁，看到张国彦的奏文，认为他是借端发难，恼怒地说：“安得此大难之端而发之？”立刻指使言官上疏弹劾张国彦“出位沽名”。一时之间，几乎遭到不测，后来皇上旨下，仅夺俸禄以示惩罚了事。
张居正去世，不久有谏官弹劾张居正，因此其家被抄，在北京的朝政大局上，太宰严清被委任出来临时主持内阁，推荐张国彦任副都御史，巡抚湖北郧阳，只是在郧阳没几个月，不久又调至顺天府尹。这是因为当时边关少数部落叛乱，进攻蓟镇黑峪关，守卫此他的抚臣因失守坐法被免职，“众议非借公不可”，于是张国彦第二次就任顺天府尹。张国彦到任后，首先是增加城垛，严守斥堠，勤于训练，奖励勇敢，从而使关外部落的进犯被抑止，严重的边关敌情得到缓解。房山县民史锦用开矿之说迷惑皇帝，张国彦多次上书竭力劝阻，万历帝终于停止了开矿之举，张国彦会同张佳胤、张文熙等人在徐流口等地派人，增修、补修、加固长城。
仅仅三个月，张国彦被提升为右都御史，总督蓟、辽、保定军务，张国彦到任后，整治有方，威德惠怀，特别是平叛辽左海夷那林孛罗，边疆得到安定。按照过去的做法，常常会筑观告庙，但捷报上报后，皇帝当时仅仅给予金币之赉，这其中的奥妙，真的很难说。根据赐予张国彦的诰命碑文内，有“制胜算于师中，树奇勋于塞外”之语，即是对他的肯定，之所以得不到大张旗鼓的表彰，还是有人嫉妒作梗而已。
张国彦考三载满，升列衔兵部尚书，总督如故，受命任职协理京营戎政，奏请皇上设置背包军马，使军事消息畅通。
甘肃发生洮河之变，真相、火落赤部等少数部族围攻旧洮州等地，但兵部主政者仍然假装不知道真相，照旧让这些部族和往常一样，继