轶事、风土趣闻，对他的吸引力是如此之大。以至有时读着读着，竟忘记身在课堂，情不自禁地笑出声来，因此常遭先生训斥，还把他的“劣迹”报告给他的父亲，要他严加管束。
谁知，父亲知道了，反而大喜过望，亲自介绍一些书籍给儿子读。一来二去，徐霞客的“学业”自然有些荒废，参加考试也名落孙山。这一来，那些常常夸奖小霞客聪明绝顶，指望他金榜题名的亲朋好友，不由扼腕长叹，倍觉惋惜。霞客的父亲却哈哈一笑。说道：“人各有志，岂可勉强？”得到父亲地支持，霞客更是把功名利禄抛到九霄云外，一心只想着“遍历九州，足登五岳”。
杨扬导游说——
有一次，他在湖南茶陵，听说当地有个麻叶洞，洞里有神龙或者精怪，不是有法术的人，都不敢进洞。徐霞客不信神怪，他出了高价雇个当地人当向导，进洞考察。正要进洞的时候，向导问他是什么人，当他知道徐霞客是个普通读书人的时候，向导吓得直往后退，说：“我以为您是什么法师，才敢跟您一起进洞，原来是个读书人，我才不冒这个险呢。”
徐霞客并不罢休，带着他的仆人举起火把进洞。村里的百姓听到有人进洞，都拥到洞口来看热闹。徐霞客在洞里考察了很久。一直到火把快烧完才出来。围在洞口的百姓看他们安全出洞，都十分惊奇：说：“我们等了好久，以为你们一定给妖精吃了呢。”
刘傻子说——
一天早晨，他瞒着父母溜出家门，径直向北寻访仙踪，但始终不见神仙的影子。夕阳西沉，徐霞客又饿又累。他没精打采地坐在一块大石头上，正准备打个盹儿。忽然，眼前飘飘然走来一位鹤发童颜的老人。啊，这不就是书中写的神仙吗？徐霞客喜出望外，连忙跪拜：“仙翁，请收下我这个小徒弟吧！”
老人一听，哈哈大笑：“你认错了，我哪是什么仙翁啊！”徐霞客不相信，执拗着跪在地上，就是不肯站起来。老人露出无可奈何的样子。慢吞吞地说：“孩子，看来你是求仙心切啊，好吧，我可以告诉你神仙在哪儿。他刚从这里往南走去，你快追去，越快越好！”徐霞客忙问：“神仙长得什么样？”
老人捋捋白须答道：“倒拖鞋子反穿裙，眼泪汪汪笑盈盈。”徐霞客向老人恭敬地鞠了一躬