于此同时，上海战场烽烟再起。。我军的第二次总攻开始了。针对第一次进攻中，87师和88师的进攻失利，德**事顾问法肯豪森认为，应该改变战术，以日军防御薄弱点作为突破方向。先集中炮火猛轰，在组织突击队向日军纵深快速突击。张治中采纳了法肯豪森的建议，开始实施“铁拳计划”。组织了五百人的突击队，准备夺取日军海军陆战队司令部和公大纱厂。
所谓的铁拳计划，就是使用渗透战术，迂回穿插。坚固的日军据点。我绕过去，穿插到日军的后方，切断日军的后路。
8月17日凌晨，我军开始实施铁拳计划，对上海日军发动了第二次总攻。我突击部队，穿插到日军后方，对日军海军陆战队司令部和公大纱厂这两个核心阵地发动猛攻。
突击队成功突破了日军防线，并向日军纵深推进。后续部队87师和88师抓住战机，向日军发动总攻击。突击队经过一番血战，连续攻克了几座街垒，逼近了日海军陆战队司令部。但是日军依靠坚固的街垒工事和高大建筑，对我军形成了强有力的火力网，我军多次组织敢死队进攻，均不能突破日军火力封锁。
于此同时，87师在进攻公大纱厂时也遭遇了类似的情况，日军面对我军的凶猛进攻，残部被迫龟缩于一栋四层楼建筑内进行死守。我军多次组织进攻，都未能攻克日军的这一据点。第二次总攻最终功亏一篑。
就在陆军在上海市区再次发动新一轮的进攻时，我海军快艇大队，为了配合地面部队的进攻。派出鱼雷艇秘密驶入黄埔江，偷袭日军舰队，炸毁日军驳船等，让日本海军十分震怒。
19日，驻旅顺口等地的日本特别陆战队2000余人，火速增援上海！同时在日军第3舰队司令官即上海日军最高指挥官长谷川清的一再求援下，日本国内也调集了大量舰艇支援上海日军，其中包括两艘航空母舰，5艘巡洋舰和25艘驱逐舰，紧急开往上海增援。
同一天，36师星夜驰援赶到上海。张治中决定由87师由北向南，攻击日军杨树浦阵地。36师从杨树浦北侧南下，目标是汇山码头。
日军当晚以坦克支援步兵，对87师和36师发动多次反击，双方展开了拉锯战。战斗十分惨烈，最终我军被迫撤出战斗，第三次进攻再次失败。
此时敌我两军在上海的兵力和火力，都发生了变化，战事正在逐步扩大，也推动着战局的进一步发展，为了应对局势的变化，8月20日，老蒋召开了国民军事委员会。会上决定将全国划分成五个战区。
第一战区辖区为河北和山东北部，战区司令官由老蒋兼任。第二战区辖区为山西，绥远，察哈尔三省，战区司令官为阎锡山。第三战区辖区为江浙一带，战区司令为冯玉祥。对于冯玉祥老蒋并不信任，于是任命亲信顾祝同为副司令长官，并特地交待‘以顾副长官之命令为命令‘，冯玉祥则被架空。第四战区辖区为广东福建两省，何应钦兼任战区司令长官，金钊被任命为战区副司令长官。第五战区辖区为山东北部和苏北地区，战区司令长官由老蒋兼任。一共五个战区，老蒋一人就兼任两个战区司令官，再加上以前的几个职务，身兼数职，也不怕活活累死。
上海属于第三战区，第三战区以拱卫首都及保有经济策源地为目的，迅速围攻上海附近之敌，并打破日军在沿江，沿海登陆之企图。也正是在这次会议上，老蒋最终决定在上海开辟第二战场，在上海附近地区与日军进行决战。