着冒认军功，林俊不允许这样。御史俞缁临阵脱逃躲避敌人，致使佥事吴景阵亡。俞缁感到惭愧不安，想嫁罪于林俊，就弹劾林俊一次次报上斩敌之功，反贼到底还没消灭掉，加上林俊开凿水井，拆毁寺庙，赶出僧人，迫使他们都做了贼。于是，林俊前后几次受到严厉批评。等到方四败灭以后，江西反贼差不多消灭干净了，林俊上书辞谢给自己的晋级和奖赏，请求让自己以原来的职务告老还乡。诏书传下来，不允许林俊辞谢晋级，但准予退休，言官纷纷上书请对林俊加以留用，武宗没做任何批示，林俊起程回家的时候，江西的士绅、百姓号哭追送，恋恋不舍。
世宗即位以后，起用林俊做工部尚书，又改为刑部尚书，林俊在赴京的路上就几番称病求罢，世宗不同意。林俊在奏章中还进而请求世宗亲近儒臣，平心静气地发号施令，以朴实、厚重的美德做天下人的榜样；即位诏书中所要革除的弊端，实行过程中不要迁就，以免使公众的舆论落空。抵达京师后，正碰上暑天，经筵停止进行日讲，林俊就拿祖宗勤学的故事来劝谏世宗。林俊那时已经有七十岁了，却只在朝房中居住，以示没有长期住下来的意思。林俊几次给世宗讲要亲近大臣，勤于研究儒学，明辨佛、道是异端，治国要节约财用等道理。朝廷中间每有大事，林俊一定侃侃陈论，当时朝堂内外的人们都想一睹林俊的风采。
林俊，因为年长而有德行，被世宗从乡下起用上来，林俊坚持正道，不避嫌疑，在屡次受到阻挠后，就上书请求退休。世宗传令加封林俊为太子太保，按规定配给林俊驿道车马、仆人和粮食。重新起用林俊为工部尚书，不久改任刑部尚书，加太子太保，林俊上疏要“亲大臣，勤圣学，辨异端，节财用”等，然而大多数得不到皇帝的采纳，心灰意冷的林俊遂上疏请求辞官，总共八上其疏，才于次年得准辞官回故里。
林俊在家中去世，享年七十六，《明伦大典》成书，朝廷追论林俊和杨廷的罪过，削了林俊生前的官，林俊的儿子就用士丧礼埋葬了林俊。林俊先后经历四朝，抗言敢谏，以礼入仕，也以礼退休，一生中始终保持着同样的节操。在四川为官期间因清正廉洁，政绩显赫，深受百姓的爱戴，当地百姓为林俊建了祠，立了石像，并在摩崖上为林俊刻诗碑，石像和摩崖诗碑至今还在重庆的