國民黨在山西沒有立足之地,自然不肯甘心,遂千方百計地圖謀恢複這個被摧毀的陣地。1922年,一部分國民黨員在太原成立了平民中學。第一任校長趙守耿,第二任校長梁永泰,第三任校長苗培成,都是國民黨的骨幹成員,多數教員也都是國民黨員。平民中學的成立,實際上就是國民黨山西省黨部的暗中恢複。
1924年1月,國民黨第一次全國代表大會在廣州召開。這次大會在共產國際和中國共產黨的幫助下,把舊三民主義發展為聯俄、聯共、扶助農工的新三民主義,允許共產黨員以個人身份參加國民黨。它建立了以國共合作為主要形式的革命統一戰線,推動了中國革命運動的發展。會後,國民黨中央派員分赴各省,籌建國民黨的地方組織。山西籌組臨時省黨部的任務由曾參加代表大會的苗培成負責。
當時,革命運動在全國各地蓬勃發展。閻錫山由於民國初年在擁袁、反對“二次革命”和“護法戰爭”等問題上都遭到了失敗,所以當時采取“保境安民”政策,標榜“三不二要主義”,即不入黨、不問外省事、不為個人權利用兵,要服從中央命令、要保衛地方治安,著重推行六政三事(水利、蠶桑、植樹、禁煙、天足、剪發,種棉、造林、畜牧)和整理村政。當他看到國民黨的力量重新壯大,國共合作的局麵已經形成,所以對兩黨活動逐漸采取了不幹預的政策。
苗培成等在太原發展黨員400餘人,於1925年5月5日,秘密成立了中國國民黨山西臨時省黨部。“五卅慘案”發生後,在共產黨的領導下,太原學聯的“滬案後援會”、太原市總工會,以及晉中各縣的農民協會紛紛成立。國共兩黨黨員在反帝愛國鬥爭中常常采取一致行動,兩黨合作的基礎已經形成。經過協商,1925年11月召開了中國國民黨山西省第一次代表大會,成立了國共合作的中國國民黨山西省黨部。在這個省黨部裏沒有閻錫山的親信。
國共合作以後,全國革命形勢迅猛發展。1926年7月,廣東國民政府舉行北伐。1927年,北伐軍攻克南京,蔣介石發動了“四一二”反革命政變,屠殺共產黨員和革命群眾。第一次國共合作的大好局麵被破壞了,國共合作的國民黨山西省黨部隨之破裂。6月6日,閻錫山已摸清了全國的政治動向,不再和張作霖勾搭,轉而響應北伐,就任國民革命軍北方總司令。
當月,國民黨中央下令改組各省地方黨部,老同盟會員張繼、何澄、趙戴文、南桂馨、溫壽泉、孔繁霨,以及苗培成、韓克溫、李江、郭樹棠、楊笑天等為國民黨山西黨務改組委員,成立了沒有共產黨人參加的國民黨山西省黨部。在這些人中,張、何雖是國民黨中央派來的人,但與閻關係密切,他們在日本留學時即有交往。趙、南、溫、孔則是閻手下的幕僚和高級官員,隻有CC係的苗、韓是堅決反閻的。所以,這個國民黨山西省黨部是閻同意成立的。但是,閻係的人都是兼職,實際掌握黨務的還是CC係的苗培成和韓克溫等人。在“清黨”中,國民黨殺害國共合作的省黨部委員、共產黨員王瀛,是經閻錫山同意的。
之後,北伐軍進展順利。閻錫山出兵石家莊,在北伐戰爭中處於舉足輕重的地位。國民黨中央為了拉攏閻錫山,除了任命他為國民黨軍事委員會委員、第三集團軍總司令、山西省政府主席等要職外,也不問他是否恢複黨籍,即於1927年6月29日推閻任中央政治會議委員,1928年3月7日又任命閻為中央政治會議太原分會主席,7月,又任命閻為北平政治分會代理主席。北伐軍占領北京後,閻為平津衛戍總司令,雄踞北方。
全國統一後,蔣介石擬通過“編遣”削弱異己,激起閻錫山、馮玉祥、李宗仁及各雜牌軍的反對。1930年,由閻掛帥,發動了倒蔣的中原大戰。掌握在CC係分子手中的國民黨山西省黨部是擁蔣反閻的,當大戰爆發前,苗培成等看到形勢不妙,便悄悄撤離山西,流亡到洛陽、南京等地,進行反閻活動。國民黨山西省黨部隨之於當年4月被第二次封閉。