1926年，蔣介石一手制造中山艦事件，國共決裂。共產黨員接受中央決定，退出第一軍和黃埔軍校，聶榮臻和周恩來為北伐做準備。已是省軍委書記的聶榮臻認識了女兵張瑞華。

“四一二”反革命政變爆發，黨組織召開緊急會議，決定讓黨骨干分子轉入地下。1927年7月，汪精衛宣布與共產黨決裂，大革命失敗。中共中央決定舉行南昌起義，指定聶榮臻為書記，負責起義軍各路部隊聯絡工作。

1927年8月1日，南昌起義打響了對國民黨反動派的第一槍。周恩來在戰斗中受重傷，聶榮臻和葉挺想盡一切辦法保護他，三人成功逃往香港。12月，聶榮臻回到廣州，中央指示要發動廣州起義，并請蘇聯的安德烈教官專門指導起義。安德烈提出按照“十月革命”的方法發動起義，聶榮臻反對。