己辩护，猛力抨击霍韬，霍韬一贯注意保持以前的印象，以便自我施展，但看到世宗生了气，就不敢辩解了，却送给夏言一封信，把他痛痛地抨击了一番，又把那封信抄录一份送交法司。夏言恼了，上书对世宗讲了这件事，并且揭发了霍韬目无君主的七条罪行，连带霍韬的来信一起交了上去。世宗大为恼火，批评霍韬诽谤、嘲笑君上，心术不正，丑化好人，就把他关进了都察院的监狱。霍韬自己从狱中上书哀求宽恕，张璁也两次上书救他，世宗都不听。南京御史邓文宪上书说应该看到霍韬的善良愿望，包涵他的戆直，并且说把天和地分开来祭祀等于是把父母安置在不同的地方，让后妃到郊外亲自养蚕就是废除了男女、内外之间应有的防范。世宗恼了，把他贬官到远方。霍韬在监狱中关了一个多月，最后世宗想到了他当初议定“大礼”的功劳，就让他捐输资财来赎罪还职。
霍韬复出，先后做过吏部左、右侍郎，当时吏部的事情大多都由尚书做主，两个侍郎一般无法干预。霍韬向尚书汪鋐争取，侍郎才获得了参议部事的机会。霍韬一向刚愎自用，多次与汪鋐争斗，汪鋐等人也很惧怕他。不多久汪鋐罢官，世宗长期不另外任命尚书，就让霍韬主持吏部的事务。内阁大臣李时有一次传达世宗的意思，要任用鸿胪卿王道中为顺天府丞。霍韬说：“内阁大臣得到过皇上指示，这本没什么可疑的，但是我们还是应当再行奏请，以便杜绝弄虚作假。”于是按照惯例，开列道中和应天府丞郭登庸两个人的名字，让世宗审定。世宗喜欢他办事照规矩来，就任用了登庸，把道中改任大理少卿。过了很久，世宗让霍韬出任南京礼部尚书去了。
霍韬此前已经和夏言结了怨，等夏言掌权以后，霍韬常常想找些事来陷害他。一次他上书说：“不久前吏部打算推举刘文光等人做给事中，没几天忽然又宣布作废了，大家都说是内阁大臣压了他们。给事中李鹤鸣在考核时被贬了官，没有几天又官复原职，大家都说是经过行贿得来的。陛下应该告诫吏部官员，叫他们不要受执政暗中指使，好让天下人看到恩惠和刑罚都在朝廷掌握中，大臣中间即使有李林甫、秦桧那样的人，也不能够在皇上身边随意捣鬼。”他的话是针对夏言而说的。于是鹤鸣上书自我表白，并列举了霍韬居住在家乡时干下的许多违法事件。世宗把