事件发生后，为顺利实现北伐目标，蒋介石严令部队约束行动，并派正在济南的外交部长黄郛前往日军司令部紧急交涉。但日方态度傲慢，拒不接受中方看法，强迫黄郛在日方提出的单方面文件上签字。黄郛拒绝后，日方竟将黄扣留了18个小时之久。不仅如此，当晚9时许，日军冲进外交部山东特派员交涉公署搜查，将战地政务委员会委员、外交处主任兼山东交涉员蔡公时及公署人员捆绑起来，并割去敢向日军抗议的蔡公时的耳鼻，挖掉了他的舌头和眼睛，然后枪杀。公署人员除2人有幸脱逃外，另外17人亦全部被杀害。
5月4日，蒋介石一方面派高级参谋熊式辉与日军代表谈判，一方面致电国民政府，报告日军暴行，请示应付方针。当晚，鉴于日军进一步增兵，并以大炮、飞机轰炸济南中国驻军及居民，蒋召集会议，决定中国军队大部退出济南，分5路渡过黄河，绕道继续北上。5日，南京国民政府委员会也召集临时紧急会议，决定要求各路连队不受影响，继续攻击前进，务于最短期完成北伐，同时命令外交部继续向日本政府提出抗议，进行严正交涉。
5月6日，蒋介石等离开济南，退往近郊党家庄，城内只留第1军第1师李延年部及第41军第91师第2团邓殷藩部，作为卫戍部队。但日军依旧增兵不已。6日下午，日方提出5项条件，限蒋介石12小时答复。其要求包括：凡涉及骚扰和暴行之中国高级军官，须处以严刑；与日军冲突之军队，须在日军阵前解除武装；其余中国军队须撤至济南及胶济铁路沿线两侧10公里外之地带；为监视以上事项之实施，须在12小时以内开放辛庄及张庄之营房；同时，在国民革命军之辖区内，不得出现反日宣传。当晚，蒋介石拟定6项对案，经讨论后于次日凌晨派熊式辉和战地政务委员会委员罗家伦前往济南与日方交涉。蒋之答复条件包括：本军治下地方早有明令禁止反日宣传，并已切实取缔；对于不服从总司令命令以至造成中日双方误会之国民革命军部队，将按律处分；胶济铁路两侧10公里以内各军，以及辛庄、张庄之部队，已令其一律出发北伐，暂不驻兵，惟济南为山东都会，津浦车站为交通要地，本军为维持治安有驻防之必要。