宣帝神爵四年（公元前58年），单于对于东方的控制力逐渐削弱到一个层次，于是，东方将领们便拥立一位亲王即位，号称呼韩邪单于。单于自然不甘心草原上出现另外一个单于与和他平分草原。所谓“天无二日、国无二君”，呼韩邪单于一旦册立，就代表着匈奴此后必将产生战争，而且必须要一决胜负。
单于出兵讨伐，但是其大军被杀得片甲不留，连单于自己也战败被杀。这是由于他人心尽失，并且呼韩邪单于得到了许多将领的支持，实力更加雄厚。和中原政权一样，匈奴也相信名正言顺。呼韩邪单于杀了老单于便后悔不已，其实，他大可以将单于握在手中，也免得正统一失去，草原大陆便陷入群雄逐鹿的纷乱之中。
见单于被杀，西方将领们为了夺取草原的霸主地位，也拥立另一位亲王即位，号称屠耆单于。两个单于，互相攻击。次年，草原上又崛起了三个单于，于是五单于并立，全国大乱。呼韩邪单于此举，没有考虑到自己的声望难以一统草原，不仅将自己陷入了有王霸之志的群雄的愤恨之中，亦使得此后的匈奴陷入了长期的衰弱。
经过一番为敌报仇式的自相残杀，呼韩邪单于技高一筹，实力强劲的他成为五大单于之中最后的赢家。然而他并非整个草原帝国的最后霸主，因此就在他接连大败其余四大单于之时，他的一位族兄已经在东方自立，号称郅支单于。
宣帝五凤四年（公元前54年），郅支单于打着除国贼的旗号，向西进攻呼韩邪单于，大军不久便进入王庭（当时匈奴的王庭设在今蒙古哈尔和林），呼韩邪单于不敌，大军节节向南败退。
从这一年起，匈奴分裂为南北两部分，即南匈奴和北匈奴，匈奴的分裂对于当时正处于鼎盛时期的汉朝而言，无疑是锦上添花的好事情，百余年的纷争，从当初汉高祖“白马之围”的耻辱，到如今坐收渔利的惬意，实在是天翻地覆的改变。
西域列国此时也唯西汉马首是瞻，南北匈奴要获取胜利，其关键就是得到汉朝的支持，为了争取外援，南北匈奴争着向汉朝奉承乞怜和争着派遣太子到中国充当人质，汉朝也采取了来而不拒的策略，两不相帮。
按照汉宣帝的设想，匈奴一直分裂下去，才是对汉朝最为有利的事情，因此，它只可能去帮助弱者去对抗强者。不久，南北匈奴便高下立判，呼韩邪单于无法抵抗郅支单于的攻势，向南方汉朝祈求援助，但是此刻的汉朝内部，还不能够下冻决心去帮助他，因为那样一来，不仅会彻底得罪北匈奴，还有可能“养虎为患”，让呼韩邪单于强盛起来。
人在屋檐下，不得不低头。为了表示忠诚汉室的决心诚意，呼韩邪单于于宣帝甘露三年（公元前51年），派遣使者前去大汉乞降，希望自己可以率领部众，南迁汉朝地区，宣帝等闻讯，当即大喜，即使得罪北匈奴，也在所不惜，因为这不仅可以彰显当朝的功绩，还可以将匈奴置于自己的控制之下，何乐而不为？于是，宣帝允许了呼韩邪单于的请求。同年，呼韩邪单于率领南匈奴汗国全部百姓和牲畜，向汉朝投降。为了表示中原王朝的热情，呼韩邪单于到长安朝觐时，汉宣帝在皇宫中大摆酒筵欢迎他。
宴会过后，宣帝和呼韩邪单于商议南匈奴的属地，这呼韩邪单于不愧是一带枭雄，他看准了宣帝势必要帮助自己的决心，遂“狮子大开口”，要求迁居河套。以前，河套就是匈奴最为富庶的地区，宣帝眼见呼韩邪单于的势力已经很弱，遂同意了他的这一请求，并派大将韩昌率领骑兵一万六千人，沿着黄河驻防保护。如此一来，宣帝无疑放虎归山，当然，凭借当时汉朝的实力，宣帝实在是找不到任何理由，去畏惧天下任何一股势力。
这次朝觐的威慑性效果是显而易见的，特别是对西域各国而言，无疑是一个晴天霹雳般的震撼，他们认为绝不可抗拒的庞大的匈奴，竟被汉朝征服，并寻求它的保护，试问天下诸国，谁还可以与汉朝相抗衡？于是，西域列国对汉朝更加敬服。为了表示对汉朝援手的感激之情，呼韩邪单于自此不断向西汉皇帝朝觐。
据史载，呼韩邪单于的最后一次朝觐是在元帝竟宁元年（公元前33年）。当时大汉江山已经易主，刘询已经驾崩，由其与许平君所生的儿子皇帝刘奭执掌政权。自刘询时代至此，呼韩邪单于在汉朝的全力援助下，力量渐大，不断反攻，为了继续赢得汉朝的支持，他便向皇帝请求与皇帝的公主和亲。刘奭一时之间，找不到合适的人选，便把一位宫女王昭君赐封为公主，并赏赐给他。