揖拜，内外肃然，凛若朝廷。即使达官贵人造访，他们也必须整饬襟裾入内，一点也不能够马虎。应接之暇，娄谅即翻阅群书，碰到至言格论，契合于心者，便吟讽不已，定要全部用朱笔圈点，这样读书常常至深夜，然后才入内寝，不尝有顷刻的懈怠。他曾说过孔子佩象环是取中虚之义，因此他也置一象环佩带着，日不去身，表示中虚无我。他在芸阁讲学的时候，常常是议论慷慨，善发人智，听者忘倦。还有一些有志于道者，常常登门拜访，请教各种问题，至于终日不忍离去，这时候，他的芸阁一定是很热闹的。
上饶城水南街劳动路娄家巷30号的“理学旧第”娄谅虽退老于上饶家中，然爱君忧国却很诚切。每读邸报，见朝廷行一善政，用一善人，则喜形于色；若事有不公，且影响到朝廷的政治清明，则忧动于颜，决不啻于身立其朝，目击其弊。宪宗驾崩时，娄谅闻之而恸，朝夕哭临，垂涕不已。对于地方政治，他也非常关心，遇到郡邑政令有不便于百姓的时候，他一定要向官府提出意见并极力制止;若遇到旱潦蝗虫等自然灾害，娄谅则忧叹不已，并常常替民向苍天祈祷。如果发现乡邻迎神、搬戏、划船及建斋醮之类，他一定要站出来痛加禁止，即使得罪士大夫也在所不顾，以正风俗为己任。他的学生夏尚朴说他气象岩岩，大家都以为是当地灵山降神所致。
娄谅68岁，王阳明18岁，这年的冬天，王阳明因送新婚的夫人诸氏，从南昌归浙江余姚，舟至广信，拜谒娄谅，并从之问学。娄谅授之以宋儒格物之学，谓“圣人必可学而至”，王阳明深契之，因此始慕圣学。黄宗羲《明儒学案》说“姚江之学，先生为发端也”，所谓“姚江之学”，即王阳明尔后所发展出的心学。
闻灵山白云峰崩落数十丈，娄谅叹曰：“吾殆死矣!”于是，紧急召弟子们永诀，并命门人蔡登查阅周敦颐、程颢去世的日期，说：“元公、纯公皆暑月而卒，予何憾。”逝世于上饶的家中，年七十。他死后，友人张东白为其墓作铭云：“灵峰信之主山，哲人之萎，岂偶然哉!”传说娄谅死的时候，时属盛暑忽阴凉数日，飒然如秋，待殓事已毕，日出如故，这大概便是人们常说的“天人感应”。