有时甚至比宋儒更有过之而无不及，如周敦颐、程颢尚倡言寻求孔颜乐处，讲一些人生受用，而胡居仁连此一点也反对，论及“求乐”便皱眉头，程颢的学生曾记载程论孔颜之乐曰：“既得后，须放开”，对此，胡居仁辩难道：“朱子疑之，以为‘既得后，心胸自然开泰，若有意放开，反成病痛’。愚以为，得后放开，虽似涉安排，然病痛尚小。今人未得前，先放开，故流于庄、佛。又有未能克己求仁，先要求颜子之乐，所以率至狂妄。”又说：“殊不知周子令二程寻孔颜之乐处，是要见得孔颜因甚有此乐，所乐何事？便要做颜子工夫，求至乎其地。岂有便来自己身上寻乐乎？故放开太早，求乐太早，皆流于异端。”依胡氏之见，士人绝不应轻言求乐，而须终生在“所乐何事”上痛下工夫，否则即为儒家之异端。因而他甚至对黄庭坚赞许周敦颐的那段名言“胸中洒落，如光风霁月”亦表示不满，认为这样形容虽有道之气象，“终带了些清高意思。”
胡居仁一生致力于“敬”，强调“敬为存养成之道，贯彻始终，所谓涵养须用敬”，认为宇宙间惟有“实理”流行，说“天地之所以为天地，万物之所以为万物，莫非实理所为”。认为天下万理虽然各殊，但都存于心中，“凡道理具有吾心，大小精粗无所不该”。认为“心理不相离，心存则理自在，心放则理亦失”。据此，他力斥佛道，指责其“专事乎内而遗其外，不考诸迹而专求诸心，厌弃事物之理，专欲本心之虚灵”。也就是说，佛道之徒只求返观内照，向内用功，而于外在人伦物事的道理却屏弃不顾，“释氏见道，只如汉武帝见李夫人，非真见也，只想像这道理”，不做切实的认识和推求，故而“劳而无功”。儒者则与之相反，“便即事物上穷究”。而穷理之法，不止一端：“读书得之虽多，讲论得之尤速，思虑得之最深，行事得之最实。”可见，胡居仁的学术思想不落窠臼，丰富和发展了程朱理学，自成一体，成为闻名全国的理学大家。
胡居仁淡泊自处，自甘寂寞。他远离官场，布衣终身，讲学之余，笔耕不辍，勤于着述，着有《胡文敬公集》、《易象抄》、《易通解》、《敬斋集》、《居业录》及《居业录续编》等书行世。