于是在没有战马，没有后应的情况下，李陵出发了。他并不害怕，因为虽然没有战马，但是他麾下的每一个士兵都是千锤百炼的精兵，每个人都配有当时最先进的强弩。然而，李陵没想到的是，这一走，便再也没能回来。
一个月后，李陵军与匈奴三万骑兵相遇在浚稽山。匈奴人多，遂将李陵部围在两山之间。李陵命军士在营前摆上辎重车阵，抵御匈奴骑兵的冲击。紧挨着辎重车后面的，是持戟荷盾的人墙兵士，人墙之后，列的是持着弓箭的士兵。每当匈奴骑兵想要冲过来的时候，迎接他们的尽是如雨的利箭。弓弦嗡嗡之声不绝，匈奴兵应弦而倒，伤亡惨重。于是败退上山，李陵领着汉兵乘胜追击，杀了几千人。
匈奴单于怕了，原先他欺李陵人少，以为片刻就可把他拿下。哪知道他所面对的不是五千血肉之躯，而是杀红了眼的魔鬼。于是急调左右两部共八万余人，希望可以靠人海战术战而胜之。李陵部果然加速伤亡，不支后退。李陵问道：“吾士气少衰而鼓不起者，何也？军中岂有女子乎？”
李陵怀疑是兵士耽于妇人之乐而丧失了战斗力。早在一个月前，刚出征时，便有兵士将关东盗贼的妻子抢来，藏在车里，用以安慰“寂寞的旅途”。时士气已衰，需要血的激励，所以李陵将这些女子找了出来，全部杀头。李陵斩杀妇人，与项羽破釜沉舟一样，都是要告诉将士们，想要财货妇人，就冲出去！
果然，士气迅速回升，第二日双方开战，李陵部斩杀了三千余匈奴。
但是，人数上巨大的劣势是不可弥补的。李陵军虽然又杀了数千匈奴兵，但自身伤亡也不小，而弓箭越来越少，于是且战且退。匈奴损失惨重，单于就有了疑虑——这支汉朝精兵战斗力强悍，我们久攻不下，一点点追着他们往南走，难懂他们只是一个诱饵，在前面有着大队的兵马潜伏，就等着我们入套？于是有了退意。匈奴将领倒没想这么多，他们劝道，我们几万人打人家几千人，却打不赢，以后恐怕再也无法叫周边部落臣服，而汉朝也会因此更加轻视我们！
两军相持数日，匈奴又损失两千多人。匈奴这次真的想退了。而其实李陵此时也是山穷水尽，矢尽粮绝。
本来，胜利就在眼前，谁承想这时出了一个叛徒管敢。管敢为校尉所辱，一气之下投降匈奴，把李陵率部外强中干的实情都说了。于是单于不顾一切地发动总攻。汉军的箭矢仍如飞蝗，箭矢不可再生，可是总有射尽的时候。且匈奴军处在高山，居高临下，占尽了地利，他们的箭矢之密，从天上往下看，就像是泼往山谷中汉军的黑水！汉军溃了，“南撤，未至鞮汗山，一日五十万矢皆尽”，如此，也就失去了最后的凭借。