面对这种形势，武帝果断决定，要斩断匈奴右臂，意即打破匈奴的计划，打垮羌人的兵力，可惜，汉军数万人马，在面对羌人的勇猛善战之时，也变得捉襟见肘，加上羌人掌握了地理优势，汉军最终大败而归。此战胜利后，羌入逐渐向湟水以北移动，试图找寻农民弃耕的地方去放牧。同时羌人各部落也有联合一致的趋向，汉朝设置在羌人之地的郡县官吏，此刻都如同虚设，没有半点办法去阻止羌人的联合。眼看羌人就要和匈奴接洽，汉朝当机立断，派遣浩窖（今青海大通河东岸）的军队进攻羌人，企图阻止他们的进一步行动，可惜这一次，汉军依然为羌人所败，士气大跌的同时，也遭受了巨大的损失。
按照西汉和羌人订立的协约，羌人是不能擅自渡过湟水的，否则就会以谋反叛乱罪论处。及至宣帝继位，赵充国被封为营平侯，一日，光禄大夫义渠安国从羌族地区寄来一封奏折，严明先零部落酋长向他表示要北渡湟水，到汉民不种田的地方畜牧。赵充国在朝堂之上，毫不顾及的弹劾义渠安国，说明需要治他一个奉使失职的罪责。
原来，在此之前的宣帝神爵元年（公元前61年）春，大汉两府大臣，即丞相、御史不明白羌族真相，就向皇帝推荐，让光禄大夫义渠安国出使诸羌，了解其动向。岂料义渠安国一介庸人，到了羌族内部，依然我行我素。他没有明察暗访羌族的实情，不能具体地分析各国部落的情况，而是不问青红皂白，召集先零部落的头领三十多人，以逆而不顺之罪，将他们全部斩首。先零部落是羌族最为强盛的部落，很多羌人都唯这些首领马首是瞻，如今羌人首领都被杀害，羌人自是难以控制心中的愤怒，遂纷纷声讨义渠安国。然而，此时的义渠安国依然不知悔悟，竟然擅自调兵遣将，以镇压先零之民，并杀了一千多羌人。于是羌族各部及归义羌侯杨玉等都很震恐，被迫离开其地，为了扩大势力，他们不惜劫掠其他小族部落，最终犯汉边塞，攻城邑，杀长吏。义渠安国遂以骑都尉身份带领三千骑兵抗击羌人，此一战才发现羌人的战力惊人，其三千士兵战死者十之七八，直道他败退令居，才想起向宣帝报告这里的情况。
元康三年（公元前63年），羌人中最强盛的先零部落和其他羌族部落酋长二百多人“解仇交质”，并歃血为盟，规定一起向中原进军，反抗汉朝官吏的暴政。
探马很快就将消息传到宣帝耳中，闻讯朝野震动。此时，霍氏一门已经被诛除，赵充国成为国家的巩固之臣，与黄霸、萧望之等人共同辅佐宣帝。当此之时，赵充国挺身而出，向皇帝陈述道：“羌人最大的隐患，主要包括三个方面，一是羌族与匈奴早就打算联合；二是羌族原来各部落互相攻击，易于控制，但近几年来他们‘解仇合约’，共同反汉；三是羌族还可能‘结联他种”，即与其他种族联合。’综上所述，赵充国提出了“宜及未然为之备”的建议。
宣帝和众臣都以为有理，一月之后，小月氏部落的羌侯狼何果派人到匈奴借兵，打算攻击鄯善、敦煌，以切断西域与汉朝的通道。赵充国遂向皇帝提出两点建议：一是加强军事上的边防；二是离间羌族各部落而侦探其预谋。并且，赵充国还认为，羌人之所以如此，肯定还会有更为深层次的原因，为此，需要做万全的打算和长远的准备。
此时的赵充国已经七十多岁，但宣帝对于赵充国的见识谋略等方面的才能还是很敬佩的，见他说得头头是道，宣帝心中便生出了请他挂帅平定叛乱的心思。然而，宣帝又有些担心他年老，精力和勇略不足。于是，便派遣御史大夫丙吉去看看赵充国，向他咨询谁可以担当重任。
赵充国很自信地回答：“无逾于老臣者矣。”宣帝又派人去问：“将军度羌虏何如，当用几人？”赵充国答：“百闻不如一见。兵难隃度，臣愿驰至金城，图上方略。”意思即是，打仗不能纸上谈兵，而要亲临前线观察，然后才能根据实际情况作出对策。并向宣帝请求，将平乱的事情悉数交到他的手中，皇帝定然可以高枕无忧。宣帝闻言，欣然答应。
“老当益壮、宁移白首之心；穷且益坚，不追青云之志。”赵充国虽年逾七十，却依然督兵西陲。他在获得宣帝的准许之后，迅速领骑兵八千余人出师，巧渡黄河，立稳阵脚，做好战斗准备。羌人听闻是当世名将赵充国来督战，心中大为恐惧。羌人耐不住前去挑战，赵充国始终坚守不出。用自己的名气和大汉的威信，不断的招降一些部落，最终瓦解了羌人各部落联合的计划。
在赵充国对西羌各部落进行怀柔治理的过程中，为了防事变于未然，他苦心孤诣，实地考察，终于得到良策。回到长安，赵充国三次上书，向宣帝提出“以兵屯田”的主张，得到宣帝的赞赏。从此，汉朝将“屯田湟中（今青海省湟水两岸）”作为持久之计，提出亦兵亦农，就地筹粮的办法，可以“因田致谷”，“居民得并作田，不失农业”；“将士坐得必胜之道”；“大费既省，徭役预息”等“十二便”。这对当时支援频繁的战争，减轻人民负担起到了很大的作用，同时也缓解了汉族和羌族的矛盾，使得二部族在西凉各地一直和平共处百年之久。