那是张国焘第二次见蒋介石，蒋介石指着站在他身后的戴笠，礼貌而又严肃地说：
“我想请张先生给他帮帮忙。”
当特务，是文人出身的张国焘做梦都不会想到的事，但纵使他有一百一千个不愿意，也不能一踏进国民党大门就“讨价还价”。武汉失守后，张国焘经桂林转赴重庆，正式并加入军统。为表示对张国焘的重视，蒋介石特地委任他为军事委员会中将委员。尽管是一个空头衔，但也显示了他与众不同的身份。
到军统后，张国焘主持“特种政治研究室”，任少将主任，为国民党特务组织策反中共人员出谋划策。他还主办了“特种政治工作人员训练班”，为专门对付共产党训练特务。
戴笠对张国焘十分器重，然而蒋介石对他却存有戒心。也正因如此，张国焘的“特种政治研究室”没有设在罗家湾军统局本部，“特种政治工作人员训练班”也与军统其他训练班分开。而他训练的专门对付共产党的特务，却没有几个可以派出去的，虽然经过严格挑选最后还是将少数人派了出去，结果不但一个人都没有策反成功，甚至连派出去的人也有的一去不归。
没有利用价值，蒋介石对张国焘的态度立刻转为冷淡，戴笠对他也很失望，如此一来，张国焘在军统的日子也艰难起来。就在这时，同为北大校友的国民党中组部部长朱家骅向张国焘伸出援助之手，安排他担任了组织部“反共设计委员会”中将委员兼主任秘书，张国焘终于脱离军统，投入中统。