归有光也肃然起敬。一日，状元出身的礼部侍郎诸大绶回乡招请徐文长聚会，可是从黄昏一直等到深夜，徐文长才迟迟而来。问其缘由，说“避雨一士人家，见壁门悬‘归有光今欧阳子也’，回翔雒读，不能舍去，是以迟耳”。诸大绶命仆人取那轴归有光的文章来，张灯快读，相对叹赏，至于达旦。
然而，归有光的命运却是困蹇不堪，三年一次的会试，次次远涉千里而去，一连八次都是落第而归。其间四十三岁时，失去了最心爱的长子，时隔一年，又失去了任劳任怨、与己分忧的妻子王氏。仕途的蹭蹬，把这位名扬海内的古文家，长期抛弃在荒江僻壤之上，加之失子丧妻的哀痛，使他的生活更加艰难。不过，坎坷的生活，倒也磨炼了归有光深沉坚毅、不屈服于权势与恶运的性格。
倭寇作乱，归有光入城筹备守御事宜，并写下《备倭事略》《论御倭书》《上总制书》等，分析敌情，条陈方略，向当局献计献策。后来，他还写下《昆山县倭寇始末书》《海上纪事十四首》等，流露了同仇敌忾的爱国情感。
明代科场上舞弊之风甚盛，虽不重唐代的行卷之习，但是有宗师和大官僚的提携是仕进的重要捷径。归有光久困场屋，对这一科举内幕应是十分明了的。可是，他却绝不从旁门邪道跻身仕途，乡试中举时的宗师张治对归有光十分欣赏，他为归有光后来三番五次不能中举深感惋惜，几次“欲以旧谊招致之”，然归有光“卒守正不一往”。
归有光屡不中式时，穆宗尚未登位，穆宗身边的一位宠幸的宦官慕归有光之名，让侄子拜归有光为师，并几次让归有光进京私谒自己，都被归有光断然拒绝。穆宗登位后，这位宦官权势更大，归有光仍然绝不与之往来，归有光耿介正直、不事权贵的品格，表现在他整个人生的各个方面。在古文领域里，他始终坚持己见，不为群言所惑，敢于与当时统治文坛的“巨子”相抗争。
明代自开国之初的刘基、宋濂等留下一些好文章后，文坛上就开始弥漫起一股浮饰摹古的风气，从永乐到成化的几十年间，久居馆阁的“三杨”统领文坛，提倡昌明博大的文体，作文雍容华贵、平庸空泛，号称“台阁体”。于是，有以李梦阳、何景明为首的“前七子”起来反对“台阁体”，他们主张“文必秦汉，诗必盛唐”，