触怒了汪直，为他日后的不幸埋下了伏笔。
汪直利用其权势，与刑部尚书林聪等联合调查边疆事务时，故意将辽东的动乱归咎于马文升禁止边贸农器交易的政策，尽管马文升据理力争，但最终还是被下入诏狱，并被贬谪到重庆卫戍守，这一去就是四年之久。直至汪直失宠，马文升才得以恢复官职。
成化二十年（1484年），马文升再次被朝廷起用，以左副都御史的身份第三次赴任辽东巡抚。这一次，他的到来受到了当地士卒和民众的热烈欢迎，因为马文升曾公正地评论过陈钺的问题，其公正无私的形象在辽东深入人心，士卒们以鼓掌跳舞的形式表达对这位清官的欢迎与敬佩。
五、主持兵部
成化末年至弘治年间，马文升在明朝政坛上扮演了极其重要的角色，其在军事、民政和朝政改革方面的贡献，展现了他作为一位深具远见与执行力的官员形象。
成化二十一年（1485年），马文升被任命为都察院右都御史，负责总督漕运，并兼顾凤阳等地的巡抚事务。在淮、徐、和等地区遭遇饥荒时，他迅速调度江南粮银，有效缓解了灾情，显示了其处理紧急状况的能力。同年升任兵部尚书，但因宫廷政治的复杂，次年被调至南京兵部尚书，这背后有李孜省等人的暗中操作。
明孝宗即位后，马文升被召回中央，担任都察院左都御史，他针对当时流行的迷信活动，提出了一系列清理措施，旨在恢复朝纲正气。在弘治元年，马文升开始提督十二团营操练，针对军政废弛问题，他实施了严格的考核制度，罢免了数十名贪腐无能的将校，这一系列雷厉风行的改革虽然触动了一些人的利益，导致了针对他的威胁与诽谤，但孝宗皇帝给予了坚定支持，甚至增派护卫保护其安全。
在对外政策上，马文升主张慎重使用武力，但在必要时也果断采取军事行动，如在哈密问题上，他巧妙利用地方矛盾，策划夜袭哈密城，成功收复失地，这是明朝官军首次深入该地区作战，显示了其高超的军事策略和外交手腕。
马文升在朝中与吏部尚书王恕并称为人望所归，他们的正直与政绩赢得了广泛的赞誉。然而，尽管马文升声望日隆，却未被选为吏部尚书，这让他心中难免有些许失落，但他并未因此消极，而是继