国人民解放军第三军的前身是1946年11月中旬，晋绥军区根据中央军委11月10日的决定，以晋绥野战军司令部一部及独立第2、第3、第5旅在山西省朔县（今朔州市）地区组成晋绥军区第3纵队，共1.5万余人。许光达(大将军长)任司令员，孙志远任政治委员，贺炳炎任副司令员，李夫克任参谋长（后李文清任参谋长，朱明任政治部主任）。纵队组建后，转战于山西省中部、北部和绥远省（今内蒙古中部）东部地区，担负保卫晋绥解放区的任务。1947年7月31日编入西北野战军。8月初，独立第3旅留在晋北地区作战，第3纵队机关率独立第2、第5旅（第5旅已于5月中旬进至陕北绥德地区）开赴陕甘宁解放区作战。至10月，先后参加榆林、沙家店、岔口、延清等战役。在延清战役中，会同第1纵队攻克清涧城，歼国民党军整编第76师师部、第24旅旅部及其直属部队，俘其师长廖昂以下6000余人。1947年冬，在陕北清涧地区进行新式整军。1948年2月转入外线作战，在参加宜川战役、收复延安、解放洛川后，又参加澄_、荔北战役和冬季战役，共歼国民党军1.5万余人。1949年2月1日，根据中央军委1948年11月1日关于统一全军编制及部队番号的命令，西北野战军第3纵队改称中国人民解放军第3军，隶属第一野战军。许光达任军长（后黄新廷），朱明任副政治委员（后朱明、朱辉照、梁仁芥相继任政治委员，唐金龙任副军长），李文清任参谋长（后邓家泰）。独立第2、第3、第5旅依次改称第7、第8、第9师，共2.1万余人。2月中旬～6月中旬，先后参加春季战役、陕中战役，在乾县、礼泉地区参加抗击国民党军向西安的反扑。此时，第8师由晋北到陕西省泾阳地区归建。6月中旬，第3军编入第2兵团。7月中旬参加扶_战役，会同第4、第6军及第18兵团将国民党军第18兵团部及3个军大部聚歼于渭河以北午井、罗局镇地区。7月下旬～8月初，在陇东追击战中，攻占陇县，解放庄浪等城镇。8月下旬参加兰州战役，会同第4军攻占城南狗娃山国民党军重要防御阵地，而后攻入兰州城西关，抢占黄河铁桥，切断守军退路，保证了战役胜利。9月初向甘肃省河西走廊进军。军长黄新廷率快速部队于9月25日进占老君庙油矿（今玉门油田），使中国当时唯一的石油矿区免遭破坏。9月下旬，第3军进驻张掖、武威、酒泉地区，执行剿匪肃特、维护社会治安、建立人民政权和参加生产建设等任务。在此期间，对拨归第3军建制的骑兵团、独立团、驼兵团等国民党军起义部队进行了改造工作，1952年6月，第3军与第1军合并后第3军番号撤销，第3军撤销后其所属部队依然坚守在祖国的西北，成为保卫共和国大西北的中坚力量