所以，他感觉需要在家里好好庆祝一下，放松一下，宣泄一下。这一段时间，他太紧张了。
参加家宴的人员有他夫人霍显、一个儿子、六个女儿、五个女婿、一个外甥女婿、两个侄孙。
当然，在宴席上就座的人里，除了这些家族成员外，还有霍光和夫人霍显都喜欢宠爱的总管冯子都。
还有两个按血缘亲情关系应该参加而没有参加的，那就是长女霍梅和外孙女上官皇后母女俩。自夫家灭族后，霍梅终日以泪洗面，过着孤苦伶仃的生活，怎么能参加这样的家宴？外孙女上官皇后虽然保住了皇后地位，但娘家已被灭族，皇后的身份和处境，也决定了她不会参加。
霍光此时望着宴席上就座的人员，心里不由喜意荡漾：儿子霍禹，任中郎将；大侄孙霍山，任奉车都尉、待中；二侄孙霍云，任奉车都尉；二女婿邓广汉，任长乐宫卫尉；三女婿任胜，任中郎将、羽林营骑监；四女婿赵平，任光禄大夫、散骑都尉；五女婿金赏，袭其父金日磾秺敬侯爵位，任奉车都尉、侍中；六女婿范明友，因平息武都郡氏族人再度反叛，刚提升为中郎将；还有外甥女婿张朔，此时已从大将军府入宫任给事中。
霍光的眼光落在家宴中一个最小的成员，此时她不到三岁，这就是霍光五十岁以后出生的第七个女儿。霍光因盼望还生个儿子，就给她取名霍成君。这个小女虽然此时只是感觉家里人多热闹，以后也没有成为君王，但成了皇后。
大家看到一贯严肃的霍光满脸笑容，就都不受拘束，大将军府此时的家宴珍馐美馔、觥筹交错，欢声笑语，十分热闹。
家宴结束之后，霍光独自来到书房。虽是红光满面、略有醉意，心里却有点不舒服。高兴热闹之中，他想到了没有回来参加家宴的长女霍梅，他看到了家宴中儿子霍禹已显露出的浅薄骄狂，还有……
“大将军，您一个人在书房啊！”总管冯子都进来打断了霍光的沉思。
“你有什么事？”霍光抬头问道。
“您夫人和您公子找您。”
冯子都的话音刚落，霍显和霍禹就来到书房。
“老爷，您这时一个人跑到书房做什么？”霍显不解问道。
“我想静静。”
“我知道您是在想霍梅。”心机过人的霍显猜出。
“她今天这样，这能怪我们吗？谁叫她公公和丈夫想谋害您、废除皇上！请她几次都不回来，没有半点亲情和孝心！”霍禹接着说出。
“混账东西，你给老子住嘴！”霍光本来心里就有点难受，听霍禹这话，就站起来朝霍禹吼道。
“大将军息怒。”冯子都一见，赶忙向霍显和霍禹眨眼，接着走到霍光身后，将霍光扶下，给霍光按背捶肩。
“你们有什么事？”过了会，霍光朝霍显和霍禹问道。
“我……”
霍禹刚要说话，就被霍显抢断：“老爷，您不用生气，我明天去上官府看看霍梅好吗？”
“嗯，这倒像妈说的话。”霍光语调柔和说道。
“老爷，您看上官桀父子已被处死，王莽右将军前两天已经病死，朝中已经没有左右将军，能不能……”
“能不能什么？”霍光抬头盯着霍显。
霍显望了望霍光没有回答，立即转头看着冯子都。
“大将军夫人是说能不能把霍禹公子提升为将军。”冯子都边给霍光按背捶肩边替霍显回答。
“什么？把霍禹提升为将军？”霍光腾地站起。
“对。”霍显说。
“你们真是想得出啊！他提为中郎将才多久？凭什么就要当将军？该不会还想当大将军吧？”霍光揶揄道。
“那上官安凭什么当将军？”霍禹嘀咕说。
“他凭什么？他凭是皇上的岳父！而且当时我就不赞成，可孤掌难鸣，实在是没有办法，我是违心同意的。”霍光声调低沉下来。
“现在你一人说了算，你儿子当将军，谁敢反对？就连皇上也不敢说个‘不’字。”霍显扬头说道，一双杏眼瞪得溜圆。
霍光一听又发怒了：“什么？你一个妇人怎么说出这样狂妄忤逆的话？”
“他上官家的儿子能当将军、姑娘能当皇后，我们霍家的儿子和女儿为什么就不能？”霍显惊慌急促之下，不由脱口而出。
“什么？你说什么？滚！你们都给我滚！”霍光拍案大吼。
霍显、霍禹、冯子都从没见霍光发这么大的火，都吓住了，赶忙悄悄退出。
“疯了，疯了，全疯了。”霍光喃喃自语。
赶走霍显、霍禹和冯子都后，霍光在书房踱了一会步，让自己平静下来。他想到确实要确任一个左右将军了。他想到了一个人，但他又想到：将军要掌军带兵，这次虽然人要由我推荐，但要想办法让皇上他说出来，以免让他怀疑我要垄断掌控兵权。
“皇上，上官桀父子反贼已被处死，王莽右将军前两天已经病死，朝中已经没有左右将军了，老臣特奏请陛下选任。”第二天早朝之后，霍光来到宣室殿向昭帝面奏。
“大将军您说何人可以担任？”昭帝问道。
霍光听后，心里高兴，但嘴里还是说道：“这左右将军虽然位不及‘三公’，但权责特殊重要，应由皇上亲自挑选定夺。”
昭帝即位后没有亲政，除了上朝，每天接触多的只有内朝官员，他怎么可能一下挑选出合适人员。于是抬手说：“大将军您是资深老臣，还是您说吧！”
“臣认为还是应该皇上定夺为好。”
“这？”
君臣之间一阵沉默。
突然，霍光眼睛亮光一闪，心头大喜。“皇上，您看这书法如何？”他指着摆在御案上的奏章说。
昭帝顺着一看，是尚书令张安世代拟的批诏，不由赞道：“张爱卿书法确实出众过人。”
“张安世大人不但擅长书法，而且记忆力更是超人，想必皇上知道。”
“对，朕听父皇生前讲过。”
张安世少年时，靠父亲张汤的地位入宫出任郎官。武帝见他书法优秀，就叫他供职尚书。张安世尽心尽力尽职尽责，例行假日没有外出过，颇有霍光风范。一次武帝巡视河东，丢失了三箱书没有找到，便下诏询问有没有人能知道书的内容，只有张安世记住了那些书的内容，还把书中的内容详备写了出来。后来悬赏征求找到了那些书，武帝叫人校对，发现没有什么遗漏的。武帝认为他记忆出众，才能超群，就提拔他做了尚书令，加官光禄大夫，进入朝廷政治中枢。
昭帝即位后，霍光和上官桀共领尚书事，张安世职为尚书令，但对霍光那是十分尊重。凡是尚书房的事，都虚心征求霍光的意见，完全按霍光的意图办事；就是霍光因事外出、休假因病不在尚书房，当霍光上班回到尚书房之后，就立即向他全部报告；特别是当霍光与上官桀产生矛盾之后，张安世自觉而坚决地站在霍光这一边。如此一来，霍光对他感到十分顺手，也十分器重。
“皇上认为张安世大人品行如何？”霍光有意问道。
“忠厚老成，勤勉尽职。”昭帝颔首称赏。突然一拍右额说：“哎呀，朕怎么就一下没想到呢，他可以担任将军啊！”
其实这时昭帝已明白霍光心思，却故作恍然大悟状。
“皇上英明！”霍光赶紧附和。
这样，霍光就“奏请”昭帝任命张安世为右将军、光禄勋。这光禄勋，原名郎中令，武帝于太初元年（公元前104年）改名，将职责扩展为皇帝的顾问参议、宿卫侍从以及传达招待等职责的宫内总管，居于禁中，接近皇帝，地位十分重要。