待大家平复了激动的心情后，张城又向众人传达中央号召八路军各部支援民党军正面战场，对日军发起大规模破袭战的指示。
如今已是4月初，徐州会战已经进入到最为激烈的中盘阶段，中日双方为了取得会战的胜利，都投入了巨大的兵力，意图一举击跨对方的主力部队。
3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。为诱敌深入，第31师刘兰斋连长率骑兵连从台儿庄出发，向峄县方向搜索前进，91旅旅长乜子彬率183团跟进，在峄县城南20里康庄与日军遭遇。台儿庄战斗正式打响，我军马队为诱敌深入边打边撤。
3月24日，日军2000多人在飞机、大炮和坦克的配合下，开始向台儿庄大举进攻。日军在台儿庄北五里刘家湖村设有炮兵阵地，排列10门大炮，向台儿庄猛轰。
91旅183团3营营长高鸿立率领士兵，每人一把大刀，8颗手榴弹，杀入敌人炮兵阵地，砍得敌人无法招架，弃炮而逃。当时台儿庄战场上流传着：“活张飞大闹刘家湖的佳话”。
与此同时，坚守台儿庄北门的186团1营在王震团长和姜常泰营长的指挥下顽强抵抗，并在城北门外与日军展开白刃战，多次打退日军的凶猛进攻。1营是新兵，入伍才半年，几乎全牺牲在台儿庄北门。
王震团长也亲自架起机枪向城外日军扫射，当晚，日军200人突破小北门，躲进小北门附近的泰山庙，王震团长亲率将士围攻泰山庙之敌，终将其消灭。
24日起，日军反复向台儿庄猛攻，多次攻入庄内。守军第2集团军顽强抗击，与日军展开激烈的争夺战。日军猛攻3天3夜，才冲进城内。
3月27日，得到增援后的日军对台儿庄城发动第3次攻击。日军炮轰台儿庄围墙，北城墙被炸塌，小北门亦被毁，守卫小北门的181团3营官兵牺牲殆尽，300多日军突入城内，惨烈的巷战开始，城内中国守军同日寇展开了激烈的巷战。
尽管日军占据了全庄的三分之二，但坚守在南关一带的中国守军至死不退，死守阵地，目的是为了外线部队完成对日军的反包围。这是李宗仁早已制定好的作战计划，以部分兵力死守台儿庄，守军尽量拖住敌人，以便庄外的大军将日寇团团围住，来个瓮中捉鳖。
28日，日军攻入台儿庄西北角，谋取西门，切断中国守军第31师师部与庄内的联系。该师师长池峰城指挥，以强大炮火压制敌人，并组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团关麟征第52军和王仲廉第85军在外线向枣庄、峄县日军侧背攻击。