，这当然引起南方人的极大愤懑。焦芳对南方人刻薄，但对北方人特别是故乡人亲爱有加，至今传焦阁老为民请愿故事。时适河南大旱，收入极少，有人讲河南多产宝，使请阁老献宝，阁老随带三物：一物是蝎子，颜色金黄，皇帝喜欢伸手触及，大叫一声，嫌其毒；二物为篦，一种多肢节动物，其色如黑玉，未及触及，已遁走；三物为蝉，一声鸣去。后帝问及，芳曰河南皆些物也。帝怜，免河南税赋五年，岁有余粮，便修城，至今老城尚在，为河南省二级文物保护。
另一个让焦芳名声有损的原因是阿附阉党，明朝中后期，正是宦官篡政最猖狂的时期，如果朝臣想在朝中坐稳位置，非与宦官交往不可，否则权位与性命堪忧。武宗登基后，东宫大院内以刘瑾为首的八位宦官均得武宗倚重，被时人称为“八虎”，当时任吏部尚书的焦芳为了保全自己的官位以及寻找到靠山，千方百计接近刘瑾。有一次，大臣韩文将率九卿弹劾刘瑾，按规定，上奏皇帝的奏章必先经过吏部审阅，身为吏部尚书的焦芳看到这份奏章，私下里将奏章内容告诉了刘瑾。刘瑾得信后，立刻着手诬陷这些弹劾他的人，然后举荐焦芳为文渊阁大学士兼吏部尚书，焦芳裁阅奏章时，也时时迎合刘瑾之意。
当时，朝中有位叫张彩的大臣，也是后来公认的阉党之一。为了攀权附贵，张彩事先买通了焦芳，焦芳便将此人推荐给刘瑾。在焦芳升任太子少师、大学士之后，张彩当上了吏部尚书。但不久，张彩刻意在刘瑾面前谗言焦芳，焦芳的一位部下段炅见刘瑾对张彩日益亲近，而焦芳日益失宠，就转而巴结张彩，又伙同张彩在刘瑾面前，将焦芳所做的对刘瑾不利的事统统说了出来。刘瑾知道后不觉大怒，数次在大庭广众之下怒斥焦芳父子，焦芳自知大势已去，连忙上奏乞归。儿子焦黄中，无奈之中也以侍读的身份随父还家，父子俱在老家善终，而其他被列为阉党的后来无一不被追究。
以后对焦芳多诋毁有加，盖因焦芳对南方人刻薄缘故，特别是南方文人，以至众口铄金，把焦芳描绘为胸无点墨的草包之士，列为阉党之首。