1948年夏秋之交，在解放战争进入战略决战的重要时刻，党中央和毛泽东把杨成武召到西柏坡接受新的任务：以第1纵队、第2纵队的两个旅、第6纵队为主，组成第3兵团，并统一指挥晋绥的第8纵队、内蒙的两个骑兵师以及晋西地区的地方部队，由杨成武任司令员，李井泉任政治委员，李天焕任副政治委员。第3兵团的主要任务是进军绥远，开辟新的战场，把傅作义的主力拖在平绥线，调动他们向归绥转移，使华北的敌人不出关、少出关。在进军绥远前，毛泽东语重心长地提醒杨成武说：“这不是当年在毛儿盖过草地，那个时候你带一个团，不过2000人。现在是个兵团，四个纵队，还有骑兵师、地方武装、上万的民工。10多万人都要吃饭呀，能说没有困难吗？”毛泽东随即给杨成武发出四点指示：第一，要有充分的思想准备。要把可能遇到的困难想够想透，根据存在的困难，依靠群众，想出如何对付的办法。第二，要做好充分的物资准备。抓紧武器、弹药的补充，要把解决吃饭问题当作能不能站住脚的最大的问题来抓。第三，就是要首战必胜。第一仗要把集宁那个师消灭，然后从集宁由东向西同时进军，占领包头，把绥东、绥南、绥北都占领了，只留下一个归绥，那我们的军队就站住脚了。第四，全体指战员都要学会做群众工作，宣传党的政策、党的主张。
绥远是蒙、汉、回、满、藏等民族聚居地区，是傅作义苦心经营二十多年的老窝。第3兵团进军绥远这一突然行动，不仅使傅作义惊恐不已，蒋介石惊慌失措，就连国民党的靠山美帝国主义也感到势态严重。美联社惊呼这是一个“绞杀性的进攻”。杨成武出师塞北，连克集宁、丰镇、凉城、和林、清水河、兴和、陶林等城镇，控制了丰镇以北到归绥以东的平绥线，后又攻下包头、大同，并围困归绥。傅作义部后院起火，疲于西援、东调，手忙脚乱。傅作义尽管手握60余万重兵，对于东北我军展开的凌厉攻势，却无暇旁顾，有力地配合了辽沈战役的顺利进行。
第3兵团胜利地完成了进军绥远的作战任务后，回师参加平津战役，并首先配合进关的东北野战军第4纵队进行了张家口围歼战，歼灭敌11兵团五个师、两个骑兵旅，共6.5万余人，解放了察哈尔省的首府——张家口市。1948年11月1日，为了适应战争形势发展的需要，中央军委对人民解放军进行了统一整编，第3兵团改称第20兵团，杨成武任兵团司令员，李天焕为兵团政治委员。12月28日，接到平津战役前线总前委林彪、罗荣桓、聂荣臻来电，第20兵团向东进至北平郊区，参加包围并和平解放北平的作战。平律战役结束后，遵照中央军委指示，第20兵团于3月12日挥戈南下，将旌旗指向太原，和第18、19两个兄弟兵团会合，参与太原战役。
太原是阎锡山精心构筑的反共堡垒，他在太原及其附近修筑了大大小小的碉堡5000多个，把太原变成了纵横交错的堡垒地带，守备太原的总兵力共约84000余人。整个太原战役由徐向前指挥，并由他任司令员兼政委，周士第为副司令员，罗瑞卿为副政委，杨成武、周士第、杨得志、罗瑞卿、陈漫远、胡耀邦、李天焕等是总前委委员，参与指挥工作。彭德怀在总攻时刻指挥了战役。在解放太原战役中，第20兵团并会同第19师（西北野战军第7军的一个师）担任北面、西北面、东北面地区的作战任务。为了策应全国战场形势，解放军最先采取了围困、瓦解和攻击相结合的方针，对太原围而不打，一打则干净利落消灭敌人。第20兵团第119师巧妙地攻取了太原外围最重要的据点——卧虎山，活捉敌第19军军长曹国忠，阎锡山吹嘘卧虎山这个“共军三个军一个月也攻不下的要塞”，被第20兵团1个师在10个小时之内就解决了，为总攻太原市区创造了十分有利的条件。解放太原是整个解放战争中围城时间最长的一个战役，也是华北最后解放的一座堡垒，1949年4月24日晨，经过九个月的围困和外围作战，第18兵团从东面进攻，第19兵团从南面进攻，第20兵团从北面进攻，三个兵团数十万大军对太原城发起了总攻。到上午10时，战斗基本结束，歼敌一个绥靖公署、两个兵团部、一个省保安司令部、六个军部、十六个步兵师、三个特种师，共7.2万余人。除阎锡山逃往南京外，国民党军头目孙楚、王靖国等均被我军俘虏。双手沾满了中国人民鲜血的日本侵略军今村中将、岩田少将以下500余日寇也是在太原战役中被消灭的。太原战役是解放战争中最为残酷的战役之一，是一个典型的阵地攻坚战。在这场艰苦卓绝的攻坚战中，解放军也伤亡4万余人。 取得太原战役胜利后，杨成武率第20兵团北上，兵临大同，迫使大同守军国民党军第275师等部1万余人宣布起义。杨成武率部暂驻大同、包头，准备向宁夏、甘肃方向进军。不久接到军委急电，命令第20兵团转向北平、天津、唐山、秦皇岛等地布防，防止敌人从海上的突然袭击，保卫北平，保卫全国政治协商会议和开国大典的隆重举行，杨成武还兼任天津警备司令、阅兵副总指挥等职，参与开国大典和开国大典阅兵式的组织工作。1950年7月，第20兵团建制撤销，杨成武任京津卫戍区副司令员、天津警备区司令员、华北军区党委书记。
1951年初，中央军委根据朝鲜战场的形势，决定组建志愿军第20兵团，下辖第12、第15、第60、第67、第68等五个军，编入中国人民志愿军序列，任命杨成武为志愿军第20兵团司令员，王近山为副司令员、王蕴瑞任参谋长。杨成武率领的第20兵团准备开赴朝鲜前，毛泽东特意把他找去，与杨成武谈率部进朝鲜参战的任务和注意的问题，提出了朝鲜战场后一阶段“持久作战和争取和谈达到结束战争”的指导方针，还留杨成武吃饭，并三次给杨成武举杯祝酒，预祝他们胜利完成任务。 (作者：陈锋，王翰)
