蒋介石进入济南，在山东省督办公署设立总司令部，随即抚绥军民，召开军长以上将领会议，任命方振武为济南卫戍司令，负责维持地方治安。是夜，蒋介石向南京政府及各路军政要员发电告捷，并称：“济南大捷后，仍当督率各军迅速追歼残敌，务于最短期间完成北伐。”
次日中午，日本驻济南总领事西田和宪兵司令小泉共同拜会蒋介石，声称：“日军将从济南撤走，故特来辞行。”蒋介石以礼相待，亲自送行。不料，西田和小泉出城后，赶到日军司令部，立即背信弃义，命令日军发起挑衅，向城中疯狂开炮，并出动军队肆意屠杀居民。城中军民毫无防范，顿时死伤累累，惨不忍睹。顾祝同部遭到重创，被迫进行抵抗。
蒋介石眼见日军蛮横无理，蓄意挑衅，却下令中国军队不准还击，并要求各部一律撤出城外。蒋介石把司令部匆忙迁到城外的党家庄车站，电邀冯玉祥速来会商军务。同时，蒋介石派出外交部长黄郛赴日军司令部交涉，被日军师团长福田下令扣押。
3日，日军公然违反国际公法，包围山东特派员公署，将外交处主任蔡公时及职员十九人全部抓捕。蔡公时当即表明身份，抗议日军的暴行。日军将蔡公时捆绑毒打，继之以刺面、割耳、断舌、挖眼等酷刑，随后将十九名被捕人员全部枪杀。日军继续作恶，放火焚烧了外交处办公大楼。
惨案发生后，蒋介石在党家庄车站与冯玉祥等举行军事会议，在既不敢抵抗日军的侵略，又不愿放弃北伐的矛盾中，选择了避开日军，绕道渡过黄河，继续北伐。蒋介石要求冯玉祥会同阎锡山速攻北京，他自己则前往泰安，准备退回徐州观望。
6日晚，日军向济南城发起总攻击。日军师团长福田同时向蒋介石发出最后通牒，严令中国军队全部退出济南。蒋介石接电后，召开军事会议，在“小不忍则乱大谋”思想的指导下，答应了日军的全部条件；并电告南京政府称：“中正至此，虽欲对福田继续谈判，亦恐无从着手，特请政府立即向日本政府提出严重抗议，并以此向全世界宣布。”南京政府接电后，除由外交部对日本提出抗议外，决定了“先北伐，后外交”的策略，同意了蒋介石“放弃济南，绕道北伐”的计划。于是，蒋介石下令济南守军全部撤出；任凭日军占领济南，再度烧杀抢掠。蒋介石的步步退让，使日军更加野蛮疯狂，大肆屠戮三日，共造成中国军民死亡六千多人，伤一千七百多人，房屋焚毁一万多间，财产损失近三千万元。
日军残杀中国军民的暴行，激起了各地民众的反日怒潮。对此，蒋介石却下令各军，“要忍辱负重”，并声称：“有雪耻之志，而不能暂时容忍，是匹夫之勇也，必不能达成雪耻之任务。”就这样，在日军疯狂挑衅、野蛮屠杀中国军民的紧急关头，蒋介石和南京政府，置民族利益于不顾，不作任何抵抗，采取了退让妥协的方针，放弃济南，绕道北上，继续讨伐张作霖。后人有诗讥之曰：
日寇疯狂杀同胞，南京政府有高招。蒋总司令善忍辱，放弃济南会绕道。
济南惨案后，蒋介石率领卫队退居徐州，静观北伐战况。此时，第一集团军从齐河、东昌一带绕道渡过黄河，向河北挺进。第二集团军从齐河渡过黄河，先后攻克大名、顺德、高唐。第三集团军从井陉出发攻下平山，占领石家庄。张作霖的奉军和孙传芳的残部全线溃败，纷纷丢弃阵地，争相后撤。
奉军全线惨败，使张作霖如同热锅上的蚂蚁，坐卧不安，从北京向蒋介石发出电报，要求停战。蒋介石置之不理，下令各路大军加强攻势，不给奉军以喘息之机。岂料，冯玉祥部在攻下阜城、武强后，因不愿孤军深入，而停留不前。阎锡山部因在保定与奉军血战，伤亡惨重，亦按兵不动。
战场出现僵局，蒋介石正思何以应对；忽接桂系军阀要求参战之电报，不由得大喜过望。蒋介石立即命令白崇禧率领桂系大军从汉口出发，星夜赶到郑州，加入战斗序列。战场局势发生巨变，奉军失去招架之力，争相撤退。蒋介石发出全线总攻击的命令，蒋、冯、阎、桂四路大军互相争功，铺天盖地，压向京津地区。奉军全线崩溃，军心大乱。孙传芳眼见大势已去，在北京通电下野，其残部由郑俊彦率领向国民党军队投降。
6月2日，张作霖下令所部撤出北京，并通电声明：“此后政治问题，悉听民众裁决。”此时，北京城里一片混乱，奉军各部纷纷涌向车站，争先恐后的向东北撤退。张作霖的大帅府内乱作一团，副官、参谋个个张慌失措，侍从、卫队乱哄哄的整理行李，搬运装车，准备撤退。