到都堂议事一次，每四五天入内廷备顾问一次，以减轻他的负担。同年冬天，张廷玉再次请求离职养病。乾隆帝最终批准了张廷玉的请求，并亲自作诗三章以示赏赐。在张廷玉前来谢恩时，他向乾隆帝表达了对配享太庙一事的担忧，并请求乾隆帝给出明确的凭证，以确保他能够按照先帝遗愿配享太庙。乾隆帝虽然不悦，但仍拟了手诏重申先帝的遗命，并赐诗一首以安抚张廷玉。
次日，张廷玉通过儿子张若澄向乾隆帝表达谢恩之意。乾隆帝因张廷玉未能亲自前来谢恩而感到不满，传旨令张廷玉亲自回奏。当时，军机大臣傅恒和汪由敦正在传达旨意，旨意尚未下达，张廷玉就在第二天早晨来到内廷谢恩。乾隆帝对此更加不快，怀疑是军机处泄露了消息。乾隆帝严厉指责了汪由敦泄露消息的行为，并且廷臣们讨论是否应该剥夺张廷玉的官爵和配享太庙的特权。最终，乾隆帝下令削去了张廷玉的伯爵之位。
乾隆十五年（1750年），皇长子永璜去世不久，张廷玉再次请求归乡。这一次，乾隆帝极为恼怒，命张廷玉审视配享太庙的诸臣名单，自行判断是否有资格配享太庙。经过大学士九卿的讨论，乾隆帝决定取消张廷玉配享太庙的荣誉，但免于治罪，随后张廷玉返回故乡。
同年二月，监察御史储麟趾弹劾四川学政朱荃匿母丧不报，经审讯查明朱荃确实存在隐瞒母丧并涉嫌贿赂的行为。朱荃在回乡途中不慎落水失踪。乾隆帝借此机会向张廷玉发难，指责张廷玉与朱荃结为姻亲，并怀疑朱荃之所以能够胡作非为，是因为有张廷玉的庇护。乾隆帝命令张廷玉详细解释与朱荃的交往情况，并追缴历年所赐的物品。乾隆帝还指责内务府总管德保错误调查了张廷玉在京的宅邸，命令退还宅邸，并将调查中发现的一万五千余两银子作为赔偿朱荃罪行的一部分。
八月初五日，张廷玉在桐城向乾隆帝回奏了与朱荃的交往情况。九月，乾隆帝再次批评张廷玉，认为他辜负了三朝厚恩，特别是在配享太庙一事上的态度，以及与朱荃的联姻问题。乾隆帝决定惩罚张廷玉，除了追缴历年赐物外，还对他处以二十万两白银的罚款。最初要求在半个月内交清，后放宽期限至半年，直至乾隆十六年（1751年）三月才全部交清。
乾隆二十年（1755年）三月