一句话，让朱棣苦等这个皇位十几年才等到。刘三吾当即表示不行，朱元璋一听说怎么不行，刘三吾意思朱标死了，可以由朱标的儿子朱允炆来继位嘛，太子还是有儿子的。朱元璋对朱标疼爱，自然爱屋吉屋喜爱这个孙儿，后面决定立朱允炆为皇太孙。朱棣当时恐怕是万念俱灰了，快到手的太子之位让刘三吾的一句话给葬送了。
后来，刘三吾因为自己的女婿户部尚书赵勉，因接受赃物获罪而死，刘三吾也引咎辞职，但不久又复官为学士。洪武三十年，同纪善、白信蹈等人主考会试，发榜后，泰和宋琮为第一名，北方士人没有中榜的，于是诸生说刘三吾等人是南方人，私下偏向乡人。朱元璋下旨意命侍讲张信等人重新阅卷，不合旨意，但是还是没有一个北方人入榜，朱元璋发怒，白信蹈等人判处死罪，刘三吾因为年老戍守边塞。皇帝亲自赐予策问，另外选取六十一人，都是北方士人，当时称为“南北榜”，又称“春夏榜”。
朱允炆登基后，想起当初他能继承帝位的大恩人，于是刘三吾再度被征召还京，官复原职，主修《春秋大成》。不过，刘三吾当时年纪十分之大了，不到两年便已过世，死时年逾90，其诗作《自题画像》反映他在朝为官十余年的心境：“莫怪三吾不起身，差将两足踏红尘；亲朋相顾毋相问，年老无声懒应人。”