话说正当唐军与齐军鏖战豫州之时，楚国皇太子张玮亲率十万军由江桥郡北侵唐国。由于唐立国以来将重心置于对付北方齐国，疏于滁州防线。滁北唐军节节败退，楚军进军迅速，很快包围了阜阳城。
此时，唐军主力正于豫北与齐军交战，局势十分危急。满朝文武皆奏请向齐请和，撤回北征军以解滁州之危。唯有年仅二十二岁的三皇子晋王李中谓高祖曰：“北方战事正紧，况我军正处于上风，此时请和势必助长齐军气焰，北征军一旦南撤，齐军必然南下，齐楚两面夹击，大唐休矣。今皇兄在北，我朝主力也与齐军鏖战，但义阳多豪杰，儿臣愿领军解阜阳之围。”虽高祖与众臣以晋王从未有行军作战经历而不放心，但苦于形势危急，高祖不得不令晋王率六万军援救滁州。
十月初七，唐军至阜阳城西十里。张玮见唐援军已至，下令围城楚军撤回合淝，并于合淝城西设置三道防线，共六万人。唐援军进阜阳城后，晋王与阜阳太守商议：“楚军兵力远胜于吾，张玮却撤回合淝构筑防线，必是观豫州之战结果。我军若胜，彼便不动；我军若败，北齐大举南下，彼必趁机西进，大唐必亡。而自楚军侵入滁州起，我北征军士气受到影响，豫州战局渐不利于我。若滁州继续相持，北征军士气更低落，败局难免。所以当主动寻求与南楚决战，一举击垮楚军。”太守曰：“楚军势大，主动出击，恐太过冒险。”晋王曰：“滁州之战事关大唐安危，不得不冒此险！阜阳城中两万，加上本王所率六万援军，共八万。本王领三万出击，汝留五万于城中。本王出发后汝即构筑防线。若十天之后本王未还，则事败；所有兵马归汝统领，务必坚守阜阳。”太守辞曰：“请殿下留守阜阳，末将率军与南楚决战。”晋王拒曰：“决战若成，楚军必南撤；决战若失，楚军定西进，方时阜阳必有一场苦战，组织阜阳军民抗击楚军，本王不如将军。勿再言。”乃率三万军东进合淝。
唐军一路东进，十月十三，突遇楚军。原来张玮凭借滁州复杂的地形地势设置防线，唐军与楚军第一道防线遭遇了。因唐军一路行军，猝不及防；加上楚军居高临下，唐军攻击便以弓箭射之，唐军损失很大。就在唐军士气低落之时，晋王大喊：“将士们，狭路相逢勇者胜！”言毕，跃马上前，向楚军奔去。唐军将士见晋王如此，纷纷跟随之，冲向楚军防线。对面的楚军士兵见此情景，竟惊慌失措。楚军防线很快被攻破，一时间，喊杀声惊天动地。不到一个时辰，两万楚军被打散，战场上遍地是楚军遗尸。战报传到合淝城，张玮不禁惊呼：“唐军竟有神助乎？短短一个时辰竟打破我两万人的防线！”
打垮楚军第一道防线后，晋王下令：不作休整，乘胜进攻，一举打败楚军。
楚军第二道防线的两万士兵还未从惊慌中缓过来，便又遭到唐军攻击，很快又被打得四处逃散。
连续两次的惨败，楚太子张玮坐不住了，亲往第三道防线。然而就在这位太子到的时候，唐军已经攻来，而且楚军已开始溃败。张玮在侍卫的簇拥下逃回合淝。也许是张玮太子的一时之仁，下令暂不关闭城门，让溃军入城。一路追击而来的唐军也乘势攻入城中。楚军将领许敬宗见大势已去，降了唐军。张玮太子乘乱逃出了合淝。