都在家中闲居，家居三年有余，唐顺之诗文创作风格为之一变。
世宗批准其官复原职，嘉靖帝长期深居内宫，不受朝贺，不见外臣，唐顺之忧虑朝政，便和廷官罗洪先、翰林编修赵时春上《东宫朝贺疏》请求朝见太子朱载壡触怒世宗，被削籍。于是唐顺之回到常州，虽然离开官场，但作为一个有责任感的知识分子，他于是决心退下来潜心读书。
回到家后，唐顺之在城里买了一幢宅院，因为过于喧嚣就弃置了，于是他搬到宜兴山中，之后迁居到更僻远的陈渡庄，闭门谢客，把时间和精力都用于钻研《六经》《百子史氏》《国朝故典律例》，忘寝废食。他还学射学、算学、天文律历、山川地志、兵法战阵以及兵家小技，在三十六岁时，曾向河南人杨松学习枪法。与此同时也有许多专家学者闻风前来，与唐顺之共同研讨学问，唐顺之和道士们也常有交往，在家里闲居近二十年，御史赵炳然、江南巡按舒汀、内阁学士徐阶、工部侍郎赵文华等相继荐其复官，被他一一回绝。
嘉靖中期，日本正处于“战国”时代，内战中的败将溃兵，便纠集武士、浪人及奸商，武装掠夺中国的东南沿海一带，被称作“倭寇”。当时中国的巨商和海盗与倭寇的相互勾结，倭患严重，沿海各地的“海商大贾”、“浙闽大姓”们为了牟取厚利，大规模进行走私，成群结党，分泊各港，后来竟变为亦商亦盗，兼行劫掠的行为，嘉靖皇帝得知消息后，立即派赵文华前往查探。
朝廷命赵文华前往浙江祭海，同时督察沿海军务，时任南京兵部尚书总督和浙、福南畿军务的张经在王江泾大破倭寇，因他不能忍受赵文华颐指气使，两人失和，赵文华就诬奏张经抗战不力，顺便捎上浙江巡抚李天宠。而朝廷听信了一面之词，将张经、李天宠逮捕下狱，赵文华乘机荐举亲信胡宗宪为佥都御史巡抚浙江，后升总督。
以工部尚书身份提督江浙军务的赵文华，素知唐顺之有经世济时之才，且熟悉江南海防情况，深知此人极有才学，不但满腹经纶，且有治国平天下之大志，且通晓军事，曾在兵部任职。所以一到江南就去拜访他，讨教御倭之策。唐顺之对江南海防形势了如指掌，根据各地的情况，提出了平时和战时的兵力部署和御敌方案，赵文华听到唐顺之的一番议论，佩服得五体