于贬地，贺唯一启奏于元顺帝，力请准许脱脱东归葬父，以尽孝道，顺帝准允，脱脱方得东还。后来，脱脱被拜为太子太傅，综理东宫之事，脱脱不知贺唯一为他力争东还之实情，反受人挑拨，在顺帝面前中伤贺唯一，致使贺唯一被罢丞相之职，改任翰林学士承旨。脱脱等人在太子支持下继续打击排挤贺唯一，使他在朝无法立足，贺唯一无奈，只得西归奉元，闭门谢客。
在元朝廷强征15万农民开挖黄河故道的时候，爆发了红巾起义，北方红巾起义军首领刘福通在亳州建立政权，韩林儿称帝“小明王”。元朝廷恐慌万状，顺帝急忙下诏命起用贺唯一，授他浙江行省左丞相职，未及赴任，改为淮南行省左丞相，兼知行枢密院事，驻于济宁，统辖几路元军，以对付山东红巾义军。
当时，元军粮食不足，贺唯一即命军队在济宁至海州之间的广大地区实行屯垦，让军队轮流耕种，以解决军粮不足的问题。后来，他被调为辽阳行省左丞相，在任颇有政绩，被调入朝任中书左丞相。次年，北方红巾军分三路北伐，东路红巾军在毛贵率领下，经河北进攻元朝首都，元军抵挡不住，朝廷恐慌万状，许多大臣主张迁都，贺唯一为效忠元朝廷，力排众议，反对迁都。他起用同知枢密院事刘哈剌不花领兵抵抗红巾军。由于中路红巾军受阻，毛贵部孤军深入无援，被元军挫败，京都转危为安，贺唯一在朝廷中威望更高。
顺帝末年，元朝廷内部权力斗争愈加激烈，皇太子和皇后奇氏密谋篡夺皇位，派宦官扑不花拉拢贺唯一，遭他拒绝，复又将贺唯一请入后宫，置酒宴相劝，要他协助太子篡位，贺唯一仍未答应。于是，皇太子怀恨在心，决定排挤贺唯一，密令监察御史买住、桑哥失理等人诬陷贺唯一私结朋党，逼迫贺唯一以病辞职。贺唯一再次被罢丞相职，改为太保，归家养病。
遇翟阳王阿鲁辉铁木儿叛乱，北部边境动荡不安，危及上都，皇太子欲置贺唯一于死地，乘机奏请元顺帝，要贺唯一去任上都留守。贺唯一到上都后，其子贺均的部将脱欢，出兵擒获了翟阳王，北边转为安定，不久，元顺帝下诏，拜贺唯一为太傅，赐给田地，命他归奉元居住。
这时，顺帝欲以伯撤里出任中书丞相，伯撤里便要求让贺唯一回朝与他共同管理朝政，于是顺帝密令