来十分优渥，然而这份家业传到倪瓒的手中，却坐吃山空，家中的各项用度逐渐捉襟见肘。迫不得已，倪瓒变卖了家中的土地和财产，把自己收藏的古玩字画搬到一条船上，打算从此在太湖中消磨余生。可是土地变卖了，当年的赋税还没有交，征税官在各处搜捕倪瓒，突然闻到湖边的芦苇丛中有一股龙涎香的味道，征税官循着香味，把正在湖边熏香的倪瓒抓进了监狱。
到了监狱，倪瓒的洁癖依然不改，狱卒给他送饭，他让狱卒送饭的时候，一定要举着饭碗送进来，而且要举到眉毛那么高，狱卒心想：我又不是你老婆，你让我举案齐眉干嘛？问倪瓒，倪瓒不回答，问了旁人才知道：倪瓒是怕狱卒把唾沫喷到饭里，狱卒听后大怒，把倪瓒用铁链子拴在厕所里的马桶旁边，让他天天被臭气熏着。众人纷纷求情，狱卒这才把倪瓒从厕所里放了出来，可是这段经历给有洁癖的倪瓒，留下了深刻的心理阴影。
不久以后，倪瓒得了痢疾，就是拉肚子，结果大小便拉的全身都是，臭不可闻，这对一个有洁癖的人来说，真是生不如死，最终倪瓒因此去世，不过他的死还有一种说法，就是得罪了朱元璋，被朱元璋下令扔粪池里去了。