人阴结太子，有不臣之心，遂将他们革职除名，遣回乡里。塞翁失马，焉知非福，无官一身轻的罗洪先坦然回到家中，隐居石莲洞，一边寻求王阳明的学问，一边研究舆图资料，稍有空闲就外出考察，经过一年多时间的集中编撰，终于完成了一部以朱氏《舆地图》为蓝本的地图集——《广舆图》。从最初寻找舆图到完成图集，前后整整花了十年。
作为我国现存最早的分省地图集，《广舆图》所载除明代全国行政疆域总图外，共43幅：两京、十三个布政使司共15幅，北方边疆10幅，黄河图3幅，海运图2幅，安南、朝鲜、西域图3幅等。这种以省区为单位分划制图的创新方式为后世所借鉴，分省绘图的背面附有相应的沿革、风俗、所辖范围和计征田赋数字等。据载，罗洪先在编印过程中还使用了先进的技术，省区方位精确度高，山脉、海岸、居民点等要素的相对位置都接近现代地图。
此外，罗洪先首创了24种新式的图例，开创了系统使用图例的制图方法，从而使《广舆图》看起来一目了然，易懂好查，图集醒目地标出长城、陵墓、桥梁等古迹，可谓早期的旅游地图集。事实证明，罗洪先改编朱氏《舆地图》的思路完全正确。一方面，由于他在发扬朱氏《舆地图》优良传统的基础上进行创新，所以直到今天还能看到朱氏《舆地图》的某些原貌。另一方面，作为明代影响最大的地图作品之一，《广舆图》在明清两朝六次被公开刊印，广为流传。
完成《广舆图》后，一直隐居家乡的石莲洞，过着异常艰难而简陋的生活，睡的是石床，喝的是稀粥，收到官复原职的同僚唐顺之、赵时春等来信后，一一拒绝复出任职。罗洪先淡泊明志，研究王阳明心学的同时，不忘修订《广舆图》，直到逝世。