众人见彭越当真言出必行，禁不住个个畏服，从此以后都落下毛病，不敢跟彭越对视。自此，彭越的话再没人敢打折扣。彭越带着这伙人攻城掠县，收拢以前造反失败的诸侯残部，渐渐地也有了千余人的规模。
就在这时候，刘邦带着大队人马来打昌邑。彭越得知消息，立即率人马前去协助。彭越的起义军这时候还是野路子，急需要找一个靠山，这是彭越出手帮助刘邦的主要原因。
刘邦奉命西进，手底下人不多，才几千人马，大部队都去救赵了。彭越的人更少，千把来个。两人加到一起打昌邑，结果是做了场无用功，没打下来。
昌邑攻不下，彭越来跟刘邦道别。他为什么不跟着刘邦呢？
第一，刘邦是奔咸阳去的。此去咸阳山高路远，说不准有多少恶仗要打。彭越才千把来人，可不想把这点家底给刘邦挥霍。
第二，彭越跟刘邦合作之后，发现刘邦的队伍少兵缺将，混得也不怎么样。跟凤凰同飞是林中俊鸟，跟老虎同行是百兽之王。要是跟乌鸦同飞，是混不出头的。彭越没有能掐会算的本事，也不会看人，觉得跟着刘邦没什么奔头。
第三，天下反秦的形势愈演愈烈，随便起来一个人，敛上万来人，就能据地称王。彭越的志向不小，有积攒实力称王称霸的打算。
所以，彭越拉着队伍到巨野（今山东巨野县）招揽魏国溃卒去了。
与彭越分别之后，刘邦不死心，跑到粟县（今河南夏邑县）弄到四千多人，统共不到一万人马，又请来魏国的一支队伍帮忙，回来再打昌邑。也不知道当时昌邑的守将是谁，硬是遭受两次进攻他都扛下来了。
昌邑实在是打不下来，刘邦不敢耽搁。他知道自己现在实力有限，准备带着队伍一路打打停停。能打下来城郭就收着，打不下来就继续走。从刘邦西进过程中的整个行进路线来看，他就像是一只没头的苍蝇，在中国地图上四处画圈，忽东忽西，忽南忽北，飘忽不定。
带着不较劲儿的想法，刘邦放弃昌邑，画了一条华丽的弧线，奔高阳（今河南杞县西南）而去。
在那儿，他听了一个人的精准分析。