上海的陷落并没有影响谢昌云执行预定部署。
在山西方面，太原以北和以东两个方向上担任逐次防御的第二战区部队，在完成了滞敌任务之后，于十一月十七日下午放弃了距太原二十至三十公里不等的最后阵地，全部转移至了周边地区充当战役屏卫，只有三十八军十七师一部和教导团共五千余人，按谢昌云的命令在十七师师长赵寿山带领下进入太原，以加强太原的防卫力量。六十六军一个炮兵观测组和一个联络组，穿着三十八军的军装也同时进驻城内。
受上海派遣军胜利的刺激，山西日军在获悉中国军队防御线全线溃退之后，稍作休整便连夜挺进，十一月十八日中午，日军东、北两路两万余人会师于太原城东北五公里处。
狂妄的日军迅速在太原外围布置了少量的警戒部队后，于当天下午就迫不及待的在飞机大炮的配合下，开始对太原北门外城关的中国军队阵地发动了试探性进攻。
日军这次试探性进攻投入的地面兵力只有一个大队和三辆战车，在连续两次攻击失利、损失了一辆战车和八十余人之后，便很快退回到了两公里之外，针对中国守军的布防情况制定了正式的攻城计划。
十九日早上七点，日军的百余门大炮突然向太原北面和东面的两处城墙以及城关开始了猛烈炮击，密集的炮弹爆炸声震耳欲聋，整个城墙上下内外都笼罩在了烟雾之中，城墙上多个掩体被摧毁，城内的多处房屋也被远弹击中，有的还燃起了熊熊大火，城关阵地上的守军伤亡惨重，在城墙上担任警戒的官兵也在突至而来的炮火下损失了近百人。
更主要的是，里面是夯土，外面是用烧砖或条石砌起来的城墙，在日军炮火轰击之下多处开始出现坍塌，其中北侧最严重一处已经被打开了一个七八米宽的豁口。
三十分钟的炮击刚一停止，日军就各以一个大队和十余辆战车，从东、北两面同时发动了进攻，而城内的炮火已经城墙上和城外阵地的各类武器，也开始向进攻日军展开了猛烈的射击。
经过四十多分钟的激战，日军的进攻终于被打退了。
但这只是恶战的开始。守城部队还没来得及完成对城墙豁口的封堵，十余架日军轰炸机和战斗机就飞临到了太原城上空，在盘旋两圈之后，便按目测和地面指示的目标，对太原城内外展开了轮番的轰炸和扫射。
守军设置在城内的六门高射炮和十余挺高射机枪，也立刻对日军飞机进行了还击。
但由于对空火力太弱和平常训练不够，日军只有一架战斗机在俯冲扫射时受了轻伤。
而轰炸却给守军造成了至少三四百人伤亡、两门高射炮、三挺高射机枪、四门野炮、一辆装甲车、十余挺轻重机枪被毁的重大损失。此外城墙多处受损，北面和东面又各有一处城墙发生了严重炸坍塌，徒手顺着塌下来的土石混合的陡峭斜坡都可以爬上城墙的豁口。
这样，含第一次垮塌的城墙，日军就在的面和北面共获得了三个可供突破城墙防线的攻击点。但由于城墙外围的阵地还在中国手中，使得日军步兵暂时无法对城墙进行直接进攻，而是集中兵力和火力意图首先清除中国军队的外围阵地。
近中午，日军在炮火和连续两个批次的飞机协助下，终于迫使城外防线的守军全部沿城墙撤离到了西面和南面，使得通向城墙坍塌出的道路洞开。
中午刚过，日军就向太原城墙发起了不停息的攻击。
守城的晋绥军一面用炮火封堵日军的后队，一面凭借城墙上的有利地形对沿着斜坡攀爬的日军拼命的射击。
攻城的日军都是训练有素的老兵，尤其是北面的第五师团第二十一旅团，堪称是日军精锐中的精锐，以几十人一个小队的梯次配置虽然投入兵力不大，但由于其士兵射击技术好、战术意识强，动作凶悍敏捷，面对居高临下、数倍于己的守军竟毫不吃亏。
而傅作义手下的晋绥军抗战以来经过几次大战，人员损失极大，士兵大多是后补充的没有作战经验的新兵，连排一级军官的也多是由士兵提拔起来不久，战斗力已大不如从前。
所以日军在利用掷弹筒、轻重机枪的精准射击给暴露出身体的守军以很大杀伤后，基本压制住了守军的近程防御火力，并很快的攻击到了城垛近前。
见日军破城在即，一个头上受了伤的晋绥军连长抓起了的一颗手榴弹扔了出去，接着又抓起了一颗手榴弹大喊道：“弟兄们，丢手榴弹，就像我这样！快！快丢！”
军官喊话间又是连续两颗手榴弹扔了出去，把刚爬到垛口的三个日本的给炸翻了。
多亏是城墙上手榴弹备的充足，守军士兵们躲在城垛后面，将手榴弹不管拉弦还是没拉弦的铺天盖地一般的朝豁口处扔，炸得正在向上攀爬的几十名日军躲都没处躲，不一会儿就伤亡殆尽，这才勉强保住了城墙不失，并把城下的日军逼退了几十米。
“弟兄们，少露头！等会儿只管听我命令就用手榴弹炸狗日的！”连长又把一箱子手榴弹搬到了身边，然后探出了戴着钢盔的半个头观察起城下的动静。
日军又继续攻击了几次，但都是只爬到半坡，就被密密麻麻丢下来的手榴弹给炸了回去。