峰与小峰相连，状如老翁负子，故名为“驮儿山”。有清朝丁守建诗句为证：“慈父娇儿两意欢，朝朝襁负列冈峦。天工绘出劬劳象，常遗人间孝子看。”后来讹写为“驼儿山”至今。
驮儿山的东坡有石围子，相传为洪秀全所建。后有大洼子，三节石，红石壁子。北面就是儿子腚后崖，儿子腚后崖上有鸡心石。红石壁子下面有一个鼓咚石，人在鼓咚石上来回踩压，就会发出咕咚咕咚的声音，山下面的人都能听见。下面就是大洞，大洞是一块巨石，三面被撑起形成，里面能容下三、四十人，是上山劳作或放牛、羊的人休息避雨的地方，山风一刮，里面很风凉。据说过去躲荒乱的时候，人们也经常到那儿去。
《日照县志艺文志》载，丁守健写有《过驮儿山》诗：“慈父娇儿两意欢，朝朝襁负列岗峦，天公绘出劬劳象，常遗人间孝子看。”山南有一站石，相传为秦王无字碑，山东有一平顶巨石，相传为秦王磨剑石，又称望海石。山后有一残碑，镌有“大定元年，重修塔记”等字样。山前旧有“秦王寺”，又名“打了寺”，现仅存遗址。山顶有“老母庙”和众多的民间神话传说。1898年，坊子村人厉用九领导当地农民在驮儿山进行反洋教斗争。
哥、二哥没来，就坐了上位，脸上喜滋滋的。一会儿，老二来了，一看三弟坐了上位。脸上立时不高兴。但没办法只好坐了第二位。最后老大来了，见只有下位，心里非常生气，所以瞪眼扒皮，但也坐了。这就是三公殿三神像的表情所在。
这里古树参天，枝杈盘曲，在一棵八搂粗的古柏，上挂一牌：“秦五记松不记木秋”。这棵树中间筒空了，从底下的洞口往上望，见里面存蜂窝，一唱戏的小戏子在树洞里点上了火。树洞里的火着了三天三夜，剩下的树皮子还做了三口棺材。可见这棵树的年龄有多大，这座庙宇有多久。小戏子点了这把火罚了这个戏班子唱了三天戏才算完。有一次修缮庙宇，正好一树枝碍事，瓦匠要把这一树枝锯掉，锯了一会，有人说：“算了，等明天再说，吃饭吧！”第二天早饭后，瓦匠来一看树枝往上长了，真是怪了。
山前突然一声巨响，一个放牛的往山上一看，一块巨大的石头从山上往下滚，他便高声叫喊：石头打了寺！打了寺啦！住持和尚跑出来一看忙跪下磕