圣历年间，武皇受到东突厥默啜可汗要挟，不得不让亲王武延秀迎娶可汗之女，张柬之认为有辱国体，上疏反对，从而忤旨，被贬到外地担任刺史，后又转任荆州都督府长史。此时的张柬之已经七十多岁，本以为这辈子就这样到头了，没想到在狄仁杰的大力举荐之下，他的人生再次出现了戏剧性的转折。长安初年，张柬之重新回朝，历任洛州司马、司刑少卿、秋官（刑部）侍郎。
张柬之二度入朝的时候，狄仁杰已经去世，如果没有其他贵人的帮助，武则天不见得一定会提拔他为宰相。他的第二个贵人就是姚崇。长安四年（公元704年）十月，武则天命宰相姚崇出任灵武道安抚大使，同时让他举荐朝臣为相，姚崇说：“张柬之沉厚有谋，能断大事，但其人已老，陛下应该尽快擢用他。”就这样，在两位能臣良相的先后举荐之下，武则天终于让张柬之入阁为相。
