1855年初，起义军主动分途撤围。叶名琛乘势反扑，在全省实行了极为恐怖的屠杀政策，先后有十多万起义者和无辜群众惨遭杀害。据时人记载说，仅1855年夏在广州刑场被杀者，即达7.5万人，“其中强半，皆无辜冤死”。“场中流血成渠，道旁无首之尸纵横遍地”，“刑场四围二千码以内，空气恶劣如毒雾”。
撤围的起义军，一部分在何禄带领下转移至湘南，攻占郴州等城。原在粤北活动的陈荣等部亦前往会合。1856年1月，在湘军和湘南团练的大举进攻下，何禄等战死，陈荣等则由茶陵州突入江西境内。原在粤北活动的葛耀明等则早于1855年夏已向江西转进。当年冬，上述进入江西的广东三合会武装与太平军石达开部会合，后即成为太平军中的“花旗”。
陈开、李文茂等则率起义军主力沿西江挺进。1855年3月，克肇庆。5月弃守，而以强大的水师向广西进军。一路经梧州、藤县、平南，进抵浔州府城。广西的天地会武装如黄鼎凤、李文彩等纷纷归附，陈开等人的势力大增。8月26日，攻克浔州府城，改称“秀京”，即以此为首都，建立“大成国”，建元“洪德”。陈开称镇南王（后改平浔王），为大成国最高领袖。李文茂称平靖王，梁培友称平东王，区润称平西王，梁昌称定北王。大成国设置了各级政权，势力最盛时曾控制广西40余州县。1858年春，大成国大举向广西省会桂林进军。清广西巡抚劳崇光被迫向湖南求援。湖南巡抚骆秉章乃调派蒋益澧等率湘军入桂。李文茂所统率的西路军于5月在苏桥战败。6月，弃柳州，改向贵州苗区进发，不久在贵州黎平再次受挫。11月，退返广西。李文茂于怀远县山中呕血而亡。进至阳朔的东路陈开等，在西路败后亦被迫退兵，转取守势。移至1861年（太平天国辛酉十一年，咸丰十一年）8月，大成国军主力遭湘军歼灭。陈开走至贵县被执，解回浔州就义。