黃金榮送還蔣介石的門生帖子後,從此對於這件事便矢口不提了;蔣介石收回拜師帖子後,對黃金榮也愈加放心。
過了幾日,黃公館果然來了兩個人:一個是國民革命軍總司令部特務處處長楊虎,他本是身跨青幫、紅幫的兩棲人物,與黃金榮原就相識;另一個是東路軍政治部主任陳群,兩人都是蔣介石的親信。他們此來的目的就是要黃金榮召集杜月笙、張嘯林,傳達蔣介石的手令,聯絡各股青幫、紅幫及其他黑社會團夥,利用“中華共進會”的名義,組織一支龐大的流氓武裝隊伍,為配合國民黨鎮壓上海起義工人充當急先鋒。事後,共進會迅速掛牌成立,在愛多亞路安樂宮旅社設辦事處,蔣介石撥出5萬元作共進會的活動經費,一時中、新各大報連續登載共進會招兵買馬的廣告和反共啟事。共進會主要組成分子,除黃、杜、張領銜外,法租界有黃金榮一手提攜的金門大戲院老板馬祥生,販賣煙土起家的三鑫公司經理金廷蓀,公共租界有闊嘴巴張炎生及劉良洪、鄭茂生、蔡洪生等,南市有歪頭李德榮、三上吊長生及李金標等,還有江灣的鐵肩膀孫嘉福、閘北的王興高等,所有上海灘的地頭惡霸、七煞凶神都被網羅進來。黃金榮的早期門生大都是英、法兩租界的探目和軍警人員,如法捕房的陳三林、金九齡、程子卿,英租界捕房的陸連奎、尚武、馮誌銘,以及南市警察局偵緝隊的喬鬆生、盧英、張榮、董明德等,也都參與其間。在這些人的策應下,馬上組織起一支有兩三千人的流氓武裝隊伍,由法租界當局發給槍支彈藥,每天早上在嵩山路外國墳山(今淮海公園)集結、操練,法捕房16輛飾有雄雞標誌的坦克也全部出動助威。一時烏雲密布,沿途商家處於極端惶恐之中,紛紛打烊關門。
1927年4月12日,各股流氓打手組合就緒,一場血腥的清黨大屠殺就此開始。據黃振世的同門把兄弟、時任上海市公安局偵查隊長,曾參與過這次反革命事變的董明德事後說:那一天黃金榮、杜月笙在安樂宮旅社親自坐鎮指揮,各路人馬自租界乘汽車分散四出,衝向各處工人糾察隊陣地(據上海公共租界工部局《警務日報》1927年4月記載,總數達15000人)。各路人馬的領頭是:
屬於黃金榮門下的有唐嘉鵬,再由唐的門生王文奎、樊良伯各發動自己一二千名徒弟分為兩路,再一路是大世界遊樂場經理丁永昌,還有馬祥生、金廷蓀各一路,他們雖屬黃黨,因不是黃金榮的門生,算是客卿;屬於杜月笙門下除杜自己的門徒外,還有房地產商顧嘉棠一路,新光大戲院老板芮慶榮一路,爛腳榮丙根一路,孫嘉福一路,袁寶冊一路。這些都是杜黨而非杜的門徒;張嘯林門下有幾路不清楚,能發動的門徒不如黃、杜門下的多。
在出動前,黃金榮、杜月笙與陳群、楊虎等設好圈套,流氓打手每人著藍色短裝,臂纏“工”字白袖章,冒充工人糾察隊,凡屬攻擊目標,都有蔣介石的軍隊埋伏,當雙方發生衝突時,部隊就突然包圍,借口“工人內訌”,收繳雙方的槍械。還有更卑劣的伎倆是:當黃金榮派出數百名流氓武裝圍攻東方圖書館工人糾察隊總部時,遭到頑強抵抗,雙方相持不下,早已埋伏在那裏的蔣介石嫡係劉峙二師的一個團,佯裝支持工人,將共進會分子捕捉驅散,假惺惺地表示對工糾隊慰問,邀全體工糾隊員到北站廣場舉行“軍民聯歡會”。工糾隊負責人不知是計,前去赴約,剛把槍支架好,席地坐下看文藝演出節目時,劉峙的士兵突然架起機槍,出其不意地繳了工糾隊員的槍械。這一天,分布在閘北、南市、滬西、吳淞、虹口等區工人武裝糾察隊,幾乎都遭到同樣的命運。隨後便是瘋狂的捕殺,從4月12日到15日三天內,工人被殺300餘人,被捕500餘人,逃亡失蹤5000餘人,許多優秀的共產黨員被殺。與此同時,在廣州、南京、浙江、福建乃至北京等各省市,都掀起了一場屠殺共產黨員和革命誌士的腥風血雨,北伐戰爭的勝利果實從此為蔣介石獨吞,國共第一次合作被破壞,大革命失敗了。