遭遇了来自御史的弹劾，指责其家族与官僚、大商勾结，但他凭借高拱的支持与明穆宗的信任，成功化解了危机。
然而，张四维的仕途并非一帆风顺。他多次因病请辞，尤其是面对政敌的攻击与自身健康问题时，更是显得力不从心。尽管明穆宗与后来的明神宗多次挽留，并赐予恩宠，但张四维最终还是选择了归隐。这一过程中，不仅体现了张四维个人的政治智慧与处世哲学，也反映了明朝中后期政治斗争的激烈与复杂。
三、入阁辅政
张四维的入阁辅政之路，始于1574年9月24日，彼时，明神宗下诏令张四维以原官身份，继续执掌詹事府，并出任《明世宗实录》的副总裁。这一任命，标志着张四维在朝中的地位进一步稳固，同时也预示着他将更深入地参与到国家大事的决策中。值得注意的是，张四维的家庭背景颇为富裕，每逢岁时年节，他都会向当时权倾一时的张居正赠送厚礼，此举不仅加深了两人之间的关系，也为张四维日后重返朝廷铺垫了道路。此外，张四维还巧妙地结交了慈圣太后的父亲——武清伯李伟，这一内援的建立，无疑为他在政治博弈中增添了不少筹码。
1575年3月2日，张四维受命成为经筵讲官，进一步提升了他在朝中的影响力。然而，同年3月17日，他却主动 上 疏 请求退休，这一举动看似出人意料，实则可能是为了试探皇帝的态度，或是出于政治策略的考量。明神宗未予批准，表明了对张四维的信任与倚重。同年9月14日，张居正力荐张四维入阁，加之与司礼监掌印太监冯保的良好关系，张四维顺利以礼部尚书兼东阁大学士的身份进入内阁，参与机要事务，成为国家决策层的一员。
在张居正独揽大权的时代背景下，张四维表现得异常低调与谨慎，他深知在张居正的阴影下，任何轻率的言行都可能招致祸端。因此，他选择紧紧跟随张居正的步伐，对同僚保持距离，避免卷入权力斗争的旋涡。这种态度，虽被外界批评为缺乏独立性，但在当时的政治环境下，却是确保自身安全与晋升的明智之举。同年11月8日，张四维在便殿侍奉明神宗讲读，因其卓越的器度，得到了“一德和衷”四个大字的御赐，这是对他个人能力和忠诚的肯定。
然而，张四维内心对于权力的渴