边兵防塞不可久留京邑，以启戍心，西僧异教不可久溷禁居，以妨圣政”，他认为那些僧侣不仅惑众，且蠹财，下令驱逐。
在户部时，役夫维修他的住所挖得万金，有人提议归私囊，他说：“民间得窖尚令入官，况公所乎？”固执不可。因其刚正不阿，招致权贵忌恨，于是厌烦官场污浊之地，故而托病请辞，先后上疏16次乞骸骨，武宗准其所请，并特加太子少傅衔，赐玺书给驿以归，传旨每月给米四石，年给四人供役，后改荫其长子张概为中书舍人，次子张樾为国子监生。
导致张澯退休的直接原因，是有人诬告他贿赂太监刘瑾，但也有人为他辩白。曾任两朝首辅内阁大学士的杨廷和，与他是同榜进士，在张澯的神道碑文里写道：张“自入翰林，人多以公辅期之。然疾恶太甚，往往见于辞色，以是于人寡合，有争进者忌之，造不根之言，谓曾以奇玩赂逆瑾，公不与辩，惟恳恳乞退。”杨廷和说他根据张澯行品，以为不会有此事，但传闻既久，又有人从而和之，谓奇玩没入内库，点视时外臣多见之，后来他看到张澯的辞呈时，曾问过中贵之当事人，当事人称：“刘瑾没入之财，皆别贮之，未尝籍入内库，外臣安得点视”于是杨廷和“与诸公始释然”。他认为张澯是“以直躬自信，横罹多口”，并非贿刘瑾，不然致仕时皇上也不会待他优厚。
张澯居全州，虽不在其位，却不忘国忧，“每见邸报或时政有关及四方水旱，辄忧形于色”，闻江西宸濠之变，“犹扼腕太息，以不能委身报国为恨”。辞官后举家定居全州赋闲，着书立说，并常与知州顾璘登山眺览，以畅饮吟咏为乐，写下了“山为徒柳水为驺，自信闲行得胜游。径畔野花频换岁，岩前老桧独禁秋。壶觞书古伊人远，弦诵升堂见道高。一岁浮石成底事，劳劳宦海任藏舟。“一诗，以及《清湘书院记》等，他既描绘了柳山潋滟的水色风光，又抒了隐于自己内心的情感。
张澯同时还是诗文名家，在翰林院与同寅分韵得“单”字，因诗有“冲雨斜飞燕子单”之句，故被称为“燕子单学士”，更为世人所称道，生前博学善着述，着有《应制集》、《全湘忆录》、《泾川文集》等书。