王禀作为武臣，在太平掌军，本有许多顾忌，狄武襄之鉴，犹在眼前；出于对康王赵构的不放心，强撑着硬顶不去金陵。有岳飞为康王作保，加上王禀本身对赵家人也未完全失望，他终于决定离开军队到金陵走一遭。
王禀跟着秦桧出发后三天，黄潜善拿着摄政王的钧令，正式接管了龙武、龙卫两军的指挥。
“在淮南之战后，我军损失惨重，编成八军已不足额，故而奉摄政王钧令，将各军整编为神武军，神武副军，兵力过万者为神武军都统制，兵力不满万者为神武副军都统制。其将佐并属摄政王府。以岳飞为神武右副军统制。”
岳飞躬身领命。
黄潜善见岳飞这么恭顺，大为满意：“大王对岳将军青眼有加，将军定不致大王失望。”他等着岳飞说出表忠心的话来。
“末将定然勉力死战，捍卫百姓。”
“嗯？”对这个回答，黄潜善不太满意，但也没有深究，他还要去别出巡视和传令。
此刻，在金陵，摄政王赵构正在送别一位使臣：“请尊使禀告贵大王，构初次摄政，彷徨不知所以，守则无人，奔则无地，惟冀上国之见哀而赦己。”
摄政王亲自送别的正是金国使臣，赵构希望通过他向完颜粘罕，完颜斡离不等人哀告，以求和议得以遵行。
使臣也不耽搁，带着赵构用印的和议书很快回到了寿州，完颜斡离不请汉官读完和议书，笑道：“自称臣下，分明就是降书了，老四，只等南蛮子撤走北岸的乱军，就大功告成了。”
“三哥，南朝的花花江山，锦绣最是江南，咱们还没把江南拿到手，怎么叫大功告成呢？”
“那依你的意思？”
“趁他病，要他命。”
岳飞带着自己熟悉的手下，新编成的神武右副军，离开了刚呆了一个月的太平州。虽然将王禀召回了金陵，也将在江北留守的王彦韩世忠等人授予了神武诸军都统制的头衔，但江北的义军并未听令南撤。于是黄潜善下令，将岳飞部调离了太平，这样江北诸军就失去了支点。
到了五月底的时候，江北义军已经不能支持，王彦率领大部撤退，陈粹自愿留下来断后。王彦劝陈粹一起走，以待来日反攻，“亦称中兴功臣”。
陈粹道：“靖康之围时，神兵溃，汴梁失西城，吾家妻儿八人俱遇害。吾数奇，非登坛之将，愿为君断后，请君择一良家子，为吾后。”两人撮土为香，再次结拜为兄弟。王彦抓过来一个俘虏，一刀砍了：“若不能光复故土，有如此贼。”
陈粹带领一千余死士，打着王彦的旗号，向金兵大营猛攻，让金兵以为王彦主力在此，随后且战且退，将金兵主力诱往扬州，王彦部安然退到江南西路。
六月底，金兵已经占领扬州，控制整个长江北岸。
“金人已经如愿，耿侍讲，劳烦你再去一趟扬州，请金人止息兵戈，遵守和议。”在见到从扬州撤到金陵的杜充之后，赵构知道宋军已经完全满足了金国的条件，便认为和平已经到来。
耿延禧正在谢恩，突然汪伯彦匆匆赶来，赵构见他的面露忧色，便让耿延禧退下。汪伯彦低声说道：“大王，大事不好，金……金贼在江州过江了。”
“啊？不是说好以大江为界吗？”
“谁说不是呀，谁知索虏这样不守信用。”
赵构问道：“过江多少人，会不会是打草谷就退走了，如是这样，叫江南西路的守臣切勿惊扰，礼送出境。”