此番换俘的真正目的，是为了瓦解刘秀阵营的意志——当四千俘虏期间好吃好喝的汉兵回到淮南江东，必然会将他们的经历告诉乡党邻居，因幽冀军团军纪差而被妖魔化的魏朝形象，便能得到一定扭转，等再打仗时，淮南、江东士卒便不会拼死而战，而是心存侥幸了。
再者，这四千人里，绣衣卫也已经策反了不少人，他们一旦回家，便是鱼入大海，成为打入敌人内部的细作间谍，可使未来灭吴之战事半功倍。
虽然很希望刘秀能答应换俘，但第五伦并未给桓谭下死命令，休战换俘一事，是连环计，在第五伦出手那一刻，就给刘秀埋下了许多个大坑，不论他选择进退，都会踩中。
于是桓谭也不多言，起身拂袖道：“吾主仁德，这才力排众议发国书，遣我至此，既然吴王不愿接回来君叔、刘植尸骸，不愿四千江东子弟归乡，桓谭也不必久留，今日我便启舟北返！”
……
和来时一样，桓谭的舟船缓缓离开当涂，向淮北驶去，他的族侄桓荣未来相送。
但等那船帆就快消失不见时，桓荣的身影才出现在码头，朝族叔作揖拜别，许久才重新抬起头来，桓荣脸上，竟已是泪流满面。
“族叔昔日教诲、资助，桓荣绝不敢忘，然忠君大于宗族之悌、师长之义，既然各为其主，桓氏二龙，便只能以淮相隔了！”
“自此一别，恐怕再无相见之日。”桓荣是固执的人，哪怕大汉处于弱势，哪怕未来当真无法战胜第五伦，他也会效仿刘植等人，殉汉而亡！
而盱眙行辕处，得知桓谭已走，刘秀怅然若失，只在无人时对邓禹感慨道：“桓谭此来，是第五伦欲在伐兵之后，再度伐谋。”
刘秀当然看穿了第五伦的小伎俩，这哪里是四千俘虏啊，分明是四千把搅乱南方人心的匕首！
邓禹颔首：“所幸早早看穿，逐走了桓谭。”
“不然。”这才是刘秀最无奈之处啊，他说道：“吾等虽千防万防，但还是中了第五伦诡计啊。”
事后刘秀仔细思索，发现即便拒绝，他仍是踏入了第五伦的陷阱。
刘秀苦笑道：“依照第五伦行事，必定对桓谭使汉大肆宣扬，淮北士民饱受战乱，期盼休兵；四千淮南、江东被俘兵卒也心生侥幸，觉得有机会返乡。”
“而今，彼辈得知朕拒绝休战、换俘，定大失所望，第五伦再加以引导，甚至会对朕与大汉心生恨意。下一场仗，淮北士民、东南俘虏，恐将反戈相向。”
邓禹是聪明人，立刻明白过来了，顿时惊出了满身冷汗。