当然，要先留下子嗣，要不然会成为把柄的，所以司马奕先睡女人，等两个嫔妃为他生下三个皇子之后，司马奕觉得自己完成了传宗接代的任务了，就开始寻求“真爱”——他把男宠们接到后宫胡天胡地。
这首先引起了褚太后的不满，后宫里除了太监，就是宫女嫔妃，裆下的那个东西若不切掉，万一男宠招惹了嫔妃，秽乱宫廷怎么办？
若混淆皇室血脉，司马家的血统不正，皇位就不正，这不仅仅是皇帝性取向的问题，而是关于江山社稷的稳定。
褚太后反复对司马奕表示不满，要他把男宠弄出后宫，否则后患无穷。
司马奕非不听，一定要留下男宠陪着自己，他没其他爱好，也没有皇权，男宠是他唯一的慰藉，他如何舍得？
褚蒜子劝了几次皆是无用，只得叹道：“哀家管不了你了，你好自为之。”
司马奕露出这么大的把柄，朝中最有权势的大臣桓温牢牢把握住了，桓温这几年野心急剧膨胀，正好想找个一人练练手。
司马奕正好撞到了桓温的枪口上。
桓温在民间散播谣言，说皇帝阳痿，有龙阳之癖（推论就是皇帝其实是下面的那个），还把男宠带在身边厮混，为了巩固皇位，繁衍子嗣，就要男宠们和嫔妃通奸，皇宫里三个皇子其实都是男宠的野种，并非皇室血脉。
这个谣言诛心了，司马奕百口莫辩，因为男宠在后宫是事实，质疑三个皇子血脉是否纯正的呼声越来越高，桓温乘机上书给摄政的太后褚蒜子，要求太后废了皇帝，以防止将来皇位沦为外姓人之手。
桓温的上书乃是手下第一谋士谢安亲自操刀完成的，字字珠玑，“……昏浊溃乱，动违礼度。有此三孽，莫知谁子。人伦道丧，丑声遐布。既不可以奉守社稷，敬承宗庙，且昏孽并大，便欲建树储籓。诬罔祖宗，颂移皇基，是而可忍，孰不可怀！”
褚太后看到上书，心情很是复杂，叹道：“哀家早就有所预测，没想到桓温来的那么快。”
保证皇室血统纯净是褚太后的责任，但是皇宫里三个皇子的确是司马奕的种——可是问题就是出在这里，司马奕无法证明这三个儿子是他的儿子。
因为司马奕身边一直有男宠，同样的，男宠也无法证明这三个儿子绝对不是他的种。
对此，褚太后心知肚明，司马奕太平庸无能了，他根本不敢混淆皇室血脉。
可是，褚太后同样没有证据来支持司马奕。
皇室血统容不得半点质疑，否则，将来都是祸患。
所以，褚太后无奈之下，只得在桓温的上书上批复道：““哀家遭此百忧，感念生者与死者，心如刀割。”
意思就是同意废帝。
褚太后点头了，司马奕被赶下台，逐出皇宫，降为海西公——连王爵都不是，再也没有人干涉他和男宠卿卿我我了。
不过，从皇帝变成公爵，对司马奕打击太大了，他也没心情和男宠谈情说爱，整日以酒消愁。
桓温对他不放心，派人试探他，说褚太后请你回宫，要重新封你为皇帝，司马奕狂喜，正要出门，被家人拦住，说恐怕是计，海西公若出门，就是死路。
司马奕终究是个平庸的人，退缩了，试都不敢试。桓温这才放心，没有杀他。
司马奕就这么因为男宠而失去了皇位，可是大晋需要一个皇帝。
立谁呢？
这事褚太后说了不算，只有手握几乎大晋所有兵权的桓温说了才算。
桓温抛开所有年轻的司马氏皇族，找到了辈分最高，年龄最大，而且是褚太后的长辈——会稽王司马昱。
褚太后四十八岁，而这位会稽王都五十二岁高龄了。
桓温执意要立会稽王为皇帝，一来是为了避免在朝中颇有威信和影响力的太后褚蒜子继续当摄政太后。
因为会稽王都五十二岁，具有政治经验，他不需要褚蒜子辅佐。
二来就是以会稽王的年龄以及司马家寿命短的规律，应该活不长了，到时候桓温会逼会稽王把皇位禅让给自己。