废黜帝位
刘贺在位二十七日以来，使者往来不断，拿着旄节下命令给各官署征调并索取物资，共一千一百二十次。文学光禄大夫夏侯胜、侍中傅嘉等多次进谏，规劝过失，刘贺竟派人按簿册责问夏侯胜，又把傅嘉捆起来关进监狱。刘贺荒淫无道，丧失帝王礼义，搅乱朝廷制度。大臣杨敞等多次进谏，不但不改，反而一天比一天更利害，霍光担心刘贺要危及国家，使天下百姓不安，便与群臣商议，禀告皇太后上官氏，废掉刘贺让他返回昌邑国(治所在今山东省巨野县)，赐给他汤沐邑二千户，从前昌邑哀王刘髆的家财全给了刘贺。
对昌邑哀王刘髆的四个女儿也各赐汤沐邑一千户。其后不久，昌邑国被废除，降为山阳郡。刘贺被废后，大将军霍光另立汉武帝曾孙刘询为皇帝，是为汉宣帝。
宣帝忌惮
汉宣帝即位后，内心忌惮刘贺，元康二年(公元前64年)，汉宣帝派使者赐给山阳太守张敞玺书说：诏令山阳太守：要谨慎防备盗贼，注意往来过客，不要泄露这条诏令！张敞于是分条禀奏刘贺平日行为，说明他的废亡之状，说：臣敞地节三年(公元前67年)五月任职山阳，故昌邑王住在从前的宫中，在里面的奴婢一百八十三人，关闭大门，开小门，只有一个廉洁的差役领取钱物到街上采买，每天早上送一趟食物进去，此外不得出入。一名督盗另管巡查，注意往来行人。用故王府的钱雇人为兵，防备盗贼以保宫中安全。臣张敞屡次派官员前去察看。地节四年（公元前66年)九月中，臣张敞进去察看他的情况，故昌邑王二十六七岁，为人脸色很黑，小眼睛，鼻子尖而低，胡须很少，身材高大，患风湿病，行走不便。穿短衣大裤，戴着惠文冠，佩玉环，插笔在头，手持木简趋前谒见。臣张敞与他坐在庭中谈话，看到他的妻子奴婢。我想用话触动他，观察他的心意，就用恶鸟试探他，说：昌邑有很多猫头鹰。
故昌邑王答道：是的，以前我西行到长安，根本没有猫头鹰。回来时，东行到济阳，就又听到猫头鹰的叫声。我看到他的子女持辔，故昌邑王跪着说：持辔的母亲，是严长孙的女儿。我才知执金吾严延年字长孙，女儿罗紨，以前是故昌邑王的妻子。观察故昌邑王的衣服、言语、举动，白痴呆傻。十六个妻子，二十