关于这一点，早在衡阳练军的时候他就已经充分认识到了，他说：“今欲扫除更张，非万众一心不可。”
因此，他认为绿营军的种种恶习、积习、陋习必须一扫而光，他制定了“别开生面，斩断日月”、“改弦更张，赤地立军”的方针，立誓要创建一支崭新的军队。为了他新建团体的“纯”，曾国藩招募湘勇、组建湘军时，决定一个绿营兵也不要，他怕“一根鱼腥一锅汤”，怕勇丁染上官兵习气。
为此，他为自己所要编练的湘军确定了最基本的建军标准。用他的话说，这支军队必须要能够做到：呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救。太平军有誓不相弃之死党，吾官兵亦当有誓不相弃之死党。只有这样，才可以血战数次，渐新吾民之耳目而夺逆贼之魂魄。
为了使士卒与士卒之间，士卒与统领之间，统领与统领之间消除影响整个湘军团结的猜忌，曾国藩首先去做的就是用一个共同的利益，把湘军的士卒束缚在一起。让他们为了共同的利益，虽然心存猜忌，却又不得不团结在一起。这是一种“求大同存小异”的策略。
