可是初登帝位的刘贺此时已经开始分心了，在未央宫中每日酒宴不断，并且临幸了不少的宫女，对自己的旧臣、属官赏赐无度，引得朝臣议论纷纷、为之侧目。
对此，大司马大将军霍光依旧不闻不问，每日只是例行公事而已，向刘贺禀报一些公事，而后便返回家中闭门不出。
此举让朝臣有些傻眼了，同时也让刘贺更加得意忘形，眼见霍光并没有像传闻那般强势，便想要进一步试探一番。
于是一日早朝上，刘贺当众宣布要在大汉宗庙以太牢来祭祀昌邑哀王刘髆，顿时引得满朝文武哗然，纷纷出列反对。
大汉皇帝在祭祀江山社稷时，牛、羊、豕(shǐ，猪)三牲全备为"太牢"。此时大汉祭祀所用牺牲，行祭前需先饲养于牢，故这类牺牲称为牢;又根据牺牲搭配的种类不同而有太牢、少牢之分。少牢只有羊、豕，没有牛。
而且由于祭祀者和祭祀对象不同，所用牺牲的规格也有所区别:天子祭祀社稷用太牢，诸侯祭祀用少牢。
如今刘贺竟然以天子祭祀社稷的礼仪，来祭奠昌邑哀王刘髆，明显是将其父当成一代帝王来祭祀的，于礼于法都不合！
但是刘贺却固执己见，当朝驳斥了朝臣的反对意见，强行下达旨意。
此时，霍光却并没有参与其中，也没有与刘贺或是朝臣进行争辩，而是老身在在的在一旁看热闹。
刘贺见状心中窃喜，当即力排众议下旨推行，让满朝文武为之侧目，众臣心中皆是不满。
这天夜里，霍光在府邸设宴款待大司农田延年，右将军、富平侯张安世。
席间，田延年和张安世都对这段时间天子刘贺的所作所为非常不满，并且询问霍光问什么听之任之，为什么不出手进行干预。
但霍光却很是高兴，根本不像张安世、田延年那般急切和愤怒，笑着对二人说道：“我出手干预又能如何？天家富有四海，凭我一人之力岂能约束天子？”
不等田延年和张安世说话，霍光接着说道：“如今天家所作所为已经犯了众怒，这些天朝中被罢免的大臣有多少？天家旧臣纷纷跻身朝堂，明显就是在夺取权柄，我又岂能视而不见？我不过是在等待机会罢了。”
听到这里，田延年和张安世全都明白了，霍光这是要让天子自绝于文武百官，只有这样霍光在出手反击的时候，才能不被天下人所指责！
此时，田延年和张安世只觉得后背寒气直冒，二人也不敢多说什么，只是不断恭维霍光而已。
过了一会儿，张安世有事先行离开了，房间内只剩下霍光和田延年二人。
忽然，霍光想起一事，对田延年说道：“前几日，掖庭令张贺告病在家，我派人去探望过，人已经不行了，你想想合适的人选，掖庭令这个位置很是关键，不能被天子旧臣占据！”
田延年当即领命。