元出身，颇有声望。在这些朋友的解救下，徐渭终于借明神宗朱翊钧即位大赦之机获释，此时徐渭已经五十三岁。
出狱后，徐渭先游览了杭州、南京、富春江一带，病体略有恢复，并交结了许多诗画之友。年轻时代的朋友、此时已经担负北部边防重任的吴兑邀他北上，他便欣然前往，赴宣化府充任文书，在宣府的时间不到一年，但留下了不少描写北地风光、民俗和军旅生活的诗文，在写给许多官员的赠序中，他都喜欢议论政事，尤其是关于边防的策略。
神宗即位初年，由阁臣张居正主持国政，张居正对蒙古采取抚和的方针，徐渭对此表示赞赏。期间又过居庸关赴塞外，经戚继光介绍，至辽东寻李成梁，教授其子李如松兵法，并结识蒙古首领俺答的夫人三娘子。徐渭虽受吴兑等人敬重，但因健康不佳，只得经北京回到家乡绍兴，注释郭璞《葬书》。
六十岁时，应好友张元忭之招去北京，但不久两人的关系就恶化了，据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐渭却生性放纵，不愿受传统礼法的束缚。张元忭常常以封建礼教约制徐渭，这使徐渭大为恼火，他曾对张元忭说：“我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！”由于和老友的交恶，加上与官僚们交往受到不平等的对待，徐渭情绪郁愤，旧病复发，便于居京三载后重归家乡，此后，徐渭便没有离开过山阴。
晚年乡居的日子里，徐渭越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生，杜门谢客，据说有人来访，徐渭不愿见，便手推柴门大呼：“徐渭不在！”张元忭去世时，徐渭往张家吊唁，抚棺恸哭，不告姓名便离去。
徐渭一生不治产业，钱财随手散尽，此时只得靠卖字画度日，但手头稍为宽裕，便不肯再作。他的一班门生和晚辈的朋友，或骗或抢，从徐渭手中得到了不少他的作品。徐渭晚年贫病交加，所蓄书籍数千卷变卖殆尽，常至断炊，但他狷傲愈甚，不肯见富家贵室，低首乞食，有时豪饮酒肆，有时自持斧毁面破头，精神病也日益严重。徐渭在穷困潦倒中去世，终年七十三岁，葬于绍兴城南木栅山。死前，徐渭写有《畸谱》，记述自己坎坷的人生经历，当他去世时，身边唯有一狗与之相伴，床上连一铺席子都