其实，在大家的心目中，对于刘贺的胡作非为，都已经产生了不满，于是，众大臣一致决定要废掉这个无道昏君。霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，太后也同意了众臣的意见。于是只当了二十七天皇帝的昌邑王就被废黜了。
他也是汉朝历史上唯一没有帝号的皇帝。
后世统称其为汉废帝！
昌邑王既然被废黜，皇位又空了出来。忠心辅政的霍光，日夜为此焦急不安。光禄大夫丙吉上书给霍光，推荐寄存在民间的汉武帝的曾孙刘病已。刘病已，后改名为刘询，字次卿。戾太子（刘据）孙，史皇孙刘进子。出生数月，即逢刘据巫蛊事件。刘询被祖母史家所收养，一直居住在民间。元平元年（公元前74年）昌邑王被废后，大臣中有人进言说，皇曾孙刘询有德有才，可接回宫中继承皇位。霍光亦对刘询做了一段时间的考察，发现此人心怀仁慈、志向远大，遂携同大臣将他从民间迎入宫中，先封为阳武侯，将此事禀报皇太后，接着就把刘询接回宫中，拥立为皇帝，他就是有名的贤君汉宣帝。汉宣帝于元平元年（公元前74年）七月即位，时年十八岁，第二年改年号为本始。
被废的刘贺，此后的生活可谓潦倒不堪，霍光新拥立的汉宣帝刘询，在即位之后，心底到底有些忌惮，他害怕刘贺会不甘心，进而产生反叛的心思。
于是，刘询在即位的第二年就让山阳太守张敞专门监察刘贺，此刻刘贺已经被软禁，张敞发现，刘贺终日沉迷酒色，早已经变得毫无斗志。刘询知道刘贺从此难以成为自己的敌手，遂生出恻隐之心，没有伤害他的性命，而是打发刘贺回到山东昌邑国，过着被监视的日子。而刘贺带去长安的两百多个官员除了三个正直的人，其他的都被斩首。
元康二年（公元前64年），为防止刘贺死灰复燃，宣帝遂下诏给山阳太守张敞道：“谨备盗贼，察往来宾客。毋下所赐书。”