续从事边关贸易并领取朝廷的奖励。当朝廷讨论此事时议论不止，总督陕西延宁甘肃军务的魏学曾主张兴兵讨伐，张国彦说：对这样的问题不及时做出决策，国体在哪里啊？上疏要求罢款主战，这样又与主持兵部事务的总督魏学曾的主张不合，发生争执。张国彦因此抑郁不安，进而想自己年岁已老，遂以年老为由，恳请告老回乡。万历帝挽留，命改任刑部尚书，仅三天张国彦再次请求退休。归后，万历帝以其以前的功劳，加封其太子少保衔，赐飞鱼官服，一等俸禄。
张国彦回乡后，杜门研究学问，不问政事，官员们过往邯郸，不是执意请见的，张国彦绝不出来见面。邯郸离北京这么近，他也不肯通消息。在家乡张国彦专意奖进后学，又常常捐俸余，帮助乡亲四邻。没事的时候登上丛台眺望远方，或者住在乡间别墅，教教子孙诗书之业，安稳地度过了十年。去世时年七十四岁，万历帝追封其太子太保衔，丧事比别的臣子高出一等。
张国彦去世后，三儿子张我续邀请萧良有撰文、南企仲书丹，为父亲作墓志铭，这二人都是张我续的同年，且萧良有还是该榜榜眼，南企仲则是张国彦的门生。