第二年，刘贺被贬斥为海昏侯，封地就在江西省永修县一带。此时，他已经被解除了软禁，但皇帝和霍光却依然对其进行着秘密监督。一次，扬州刺史“柯”就上报朝廷一件事情：刘贺与一个叫孙万世的人交往。
孙万世问刘贺：“在被废除皇位前，君为什么不坚守内宫，关闭宫门，斩杀霍光，却听凭他们夺取皇位玺绶呢？”
刘贺说：“是啊，当时太年幼，真是大大的失策啊。”孙万世又希望刘贺做豫章王，绝不要一直做这么普通的海昏侯。刘贺说：“道理是如此，但是这话不宜说啊。”
刘询因此震怒，下令查办刘贺，其实刘询已经看出，刘贺只是说说而已，根本没有实力反对自己的统治，遂只削减了其封地的人口和赋税。四年之后，刘贺在愤慨中死去，终年三十四岁。
霍光拥立了宣帝刘询，更力保其帝位，为朝廷鞠躬尽瘁。宣帝即位后，为了表彰霍光的拥立之功，对其大为嘉奖。此后，霍光便忠心耿耿地辅佐年轻的宣帝，为其献计纳策，以求君主圣明。汉宣帝在他的辅佐下，继续遵照“与民休息”的方针来制定政策，处理国事，使西汉王朝再次兴盛，史称“昭宣中兴”。这段时期西汉王朝能够再次兴盛与重臣霍光二十多年的忠君辅政不无关系。霍光对汉室忠心赤胆，且知人善任，做事果断，是个颇具智慧的谋略家。他上任后调整了武帝末年赋税无度的政策，与民休息，缓和了朝廷与百姓的矛盾，所以汉代的经济出现了又一个发展时期。
地节二年（公元前68年），霍光病逝。汉宣帝和皇太后为感念其为汉室立下的汗马功劳以极其隆重的礼仪亲自为霍光主持丧礼。死后的霍光被埋葬在茂陵汉武帝陵墓的旁边，这正体现了汉室对这位忠心辅政安定社稷的重臣的尊崇。
霍光已经死去，但他身后却留下了一个足以颠覆朝野的家族。