、周师旦即连章弹劾吴道南，给事中刘文炳相继上疏激烈攻论，吴道南疏辩乞休，疏中对文炳有较多的挟击。刘文炳更加激烈地抵毁吴道南，御史张至发也上疏为刘文炳助威，甚至肆口谩骂，吴道南自责“臣辱国已甚，请立罢黜”。神宗对吴道南颇为爱重，不仅没有按弹劾者所言，而是令刘文炳外任，并夺李嵩等六个月的俸禄。御史韩浚、朱渭又相继上疏为刘文炳伸张，再次诋毁吴道南。吴道南益加求去归里，杜门不出，疏二十七条，作为告别朝廷奏，神宗阅疏，仍予勉留，不许致仕。适逢吴道南继母死，准其速归，并赐道里费，遣人护送回乡。
吴道南中年入仕，在朝廷为官二十余年，清廉淡泊，不阿附权贵，不谋私情，他平易近人，从不因高官显爵而盛气凌人。任东阁大学士时，行装简仆，不仅没有过高过分的要求，即使按规定应有的供给、护从等，均一律拒绝。
据《崇仁县志》记载，他官至皇帝的辅臣，而他的家产却不及一般中等人家，虽长期从政为官，在学业上也有成就。着有《河渠志》一卷，首创绘图，另有《秘笈新书》十三卷，《别集》三卷，《日讲录》、《巴山草》、《曙谷集》、《奏议》、《语录》等，存目于《四库全书总目》，有《吴文恪公文集》三十二卷传世。