主父偃被贬为庶民之后，除了自家人，也就几个赶车的奴婢，哪能去深山老林里隐居啊。他不想去瘴气很多的闽越之地，也不想去苦寒的东北，也不想去匈奴时常出没的北方和西北地区。再除去藩王的封地，想来想去只能去公主们的封地。
主父偃首先就想到了平阳公主，谁让她名声最响亮呢。而想到平阳公主，就不由地想到从平阳侯家中出来的卫家人。
主父偃找人一打听霍去病的生辰，瞬间决定去平阳县。
抵达平阳县再一打听，还真有一个姓霍的小吏，曾在平阳侯府当过差。
主父偃这人想做什么的时候，脑袋转的特别快，不过三天，就在霍仲孺家附近弄了一处小院，置办了几垧地，开始了他隐居生活。
然而，主父偃这人过惯了锦衣玉食，以前家中往来无白丁，现在目之所及处皆白丁，主父偃非常不习惯，就打起了霍光的主意。
这些主父偃没解释，然而聪明如霍去病稍稍一想就明白其中缘由。霍去病倒是没怀疑他父亲跟主父偃一起算计他。他生父也没必要跟主父偃这个罪臣掺和。
霍去病笑道：“主父偃，以前有没有人跟你说过，聪明反被聪明误？”
主父偃脸上的笑凝固。
霍去病转向他生父：“我这个弟弟能得这人看中，想来是个聪明的。你若放心，就去给他收拾一下衣物，让他与我一同回京师。”
霍仲孺还未开口，他的妻忙不迭道：“好好，谢谢侯爷，谢谢侯爷。”
霍去病对他弟弟的这个母亲也没多大厌恶。就凭霍光比他小十来岁，也能看出他生父跟他母亲好上的时候，人家顶多十岁，不可能勾的他生父把他母亲忘的一干二净。
堪堪回过神的霍光又蒙了。
霍去病给随从使个眼色。随从过去道：“公子，我们先上车。”
霍光回过神，下意识看这个突然冒出来的哥哥，紧接着又看他父亲，脸上尽是不知所措。
霍仲孺道：“到了京师要听你兄长的话。”接着转向霍去病：“他以后就拜托将军了。这孩子若不学好，将军尽管把他送回来。”
“这点确实值得担忧。”霍去病瞥一眼主父偃。
主父偃尴尬的很，然而，也只是一瞬间又恢复正常：“侯爷有所不知，令弟——”
“我弟弟的事你比他本人还清楚？”霍去病讨厌被人算计。若为他好，霍去病还能忍一下。这人不是为他，而且本人人品还不行，霍去病没有立即拔剑，还是想到这人以前跟他舅舅关系不错，给他舅舅个面子。