本，该年，李善长又为一个犯了罪的叫丁斌的亲戚求情，按照常理，这在当时本来是一件并不大的事情，可不知何故又闹到了朱元璋那里。皇帝下令审讯，而这个丁斌过去曾在李善长家服务，很奇怪，他没有就事论事，交待李丞相是怎样为他请托免罪的，却直往心惊肉跳的事上扯，即李善长家族与胡惟庸的瓜葛。
于是，朱元璋命令将李存义父子投入大牢，谁曾想，一拷问竟审出了胡惟庸谋反前，多次拉拢李善长的事，虽前两次都被拒绝，后来李善长弟弟李存义在胡惟庸的说服下，也来做哥哥李善长的工作，李善长说了一句：“我老了，等我死后，你们想怎么干就怎么干吧。”结果被毫无疑问地被归属到了胡惟庸谋反集团里了，于是，等待李善长的就只能是接受处罚了。
朱元璋斥责李“元勋国戚，知逆谋不举，狐疑观望，心怀两端，大逆不道”，赐缢死，终年七十七岁，其全家七十余口一律处斩。朱元璋手诏条列其罪，为《昭示奸党三录》，布告天下。虞部郎中王国用上书为李喊冤：“善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王……使善长佐惟庸成，不过勋臣第一而已矣……今善长已死，言之无益，所愿陛下作戒将来耳。”太祖看了竟无话可说，明代史家郑晓、王世贞等人都对李善长参与谋反持否定态度。