1926年10月，张灵甫从黄埔军校毕业，被分配到第一军第二师当见习军官，旋任一团二营三连三排排长，随军北伐。一次在同孙传芳所属卢香亭部作战时，张灵甫根据敌强己弱的情况，向营长建议采用夜战偷袭战术，攻敌不备，被采纳。张带全排主动请缨，夜袭卢部大获全胜，张灵甫虽右腿负伤，但以其表现升为连长。
1928年秋，第一军驻徐州九里山，奉命缩编为陆军第一师。这支部队是蒋介石的家底子，视同己出，是蒋之嫡系亲兵。张灵甫调任该师三旅六团一营二连连长。这期间，参加过中原大战等战役。1931年，升任一师五团三营营长。
1934年，胡宗南任第一师师长，奉蒋介石命令，率部从湖北黄陂追击红四方面军。张灵甫拜为前锋，行动迅速，一度与红军发生白刃战，双方伤亡惨重。战斗结束时受到胡宗南的传令嘉奖，被提升为独立旅一团中校团长，率部进驻甘肃。次年，独立旅与红四方面军激战一周，双方伤亡惨重，旅长丁德隆指挥的1个团损失殆尽，而张灵甫团却保存了实力，再次受到胡宗南的嘉奖。
