杨佺期好不容易收起笑容，道：“我刚才只是想象了一下，如果桓宣武看到这种场景会露出什么样的表情。”
桓玄停下手上的动作，自己真的如此窝囊
“能有什么表情也许宣武刚开始领兵的时候也有这样的行为。”门外的冯该走进来，如此说，他还是第一次对桓玄用现在一般轻蔑的语气。
“不会的，父亲不会临阵脱逃的。”桓玄总算知道反驳。
冯该恍然大悟，“对啊，宣武是英雄，不会这样，但是南郡虽然是宣武指明的嗣子，但是那时候毕竟只有五岁，什么都看不出来，宣武可能是看走眼了，灵宝，你说是不是”
这是激将法，桓玄明白，扶着头坐在椅上，道：“我知道你们的意思，让我一个人静一静，放心，我暂时不会走。”挥手示意他们先出去。
这一幕对杨佺期来说是意外的收获，他本来以为桓玄是个很厉害的人物，原来是个胆小鬼。他心里还巴不得桓玄早点回去，这样“分赃”的人就少了。
当他把这一切告诉庾楷，庾楷倒是告诉他，就算是绑，也要让桓玄留下来。
杨佺期疑惑，刘牢之虽然很强，但以桓玄的性格，也做不到什么。
庾楷告诉他，这与实力无关，事关军队士气，司马道子那边之所以要做杀王恭这样一个并不得人心的举动，就是想打击一下我方的势头。如果桓玄真的撤了，他们的目的就到达了，毕竟，桓玄还是有几分名气的。
杨佺期极为不服，高门的花瓶，到最后真让人麻烦。
最终，桓玄是留了下来，他知道自己不能逃，一旦逃了，不禁是自己名誉受损，整个桓氏都不能在本朝立足了，无颜面对荆州父老。
索元看他连生气都快没了，只是麻木地继续跟着部队前行，就对问桓玄道：“南郡公还想不想继续前进”
桓玄好像没听到，索元又重复了一次，他似乎听到了，摇摇头，不想，来日方长，以后还有机会，这次先缓缓，他这样告诉自己。
索元见老大这种神色，想给他一拳，拳头刚举起，就被冯该拦住了，冯把他拉走，对他说先让桓公一个人想想清楚。
桓玄还是处在失神状态，王恭的死不仅让他感到哀伤，也让他觉得畏惧。从众人的眼光看，他是在谋反，而谋反兵败，结果不堪设想。
现在的自己所陷未深，及时收手，可能还会躲过一劫，如果自己的下场和王恭一样，他不惧死，可是家中不对，自己也还舍不得死。活得越好，越没经历过风险的人越怕死，桓玄这三十年来没遇到过大风大浪，即使受点委屈，也立马会有人过来替他宽心。
王愉似乎看出桓玄的心思，在旁边说道：“南郡公只是随荆州军北下，孝伯既殁，再继续也是群龙无首。若回去，凭借桓氏在朝中势力，必当无事。”
桓玄茫然不对，王愉继续说道：“前面碰到的还只是小人物，接下来才是真正的对手，南郡公可以信心”
桓玄厌烦，道：“姐夫说够了就回去吧，这边还养不起你。”
这个时候的王愉还不想回去，现在回去可能被当成奸细，这边虽然要看人脸色，但是至少没有生命危险。
此时，前方消息来报，刘牢之率领北府兵迅速赶到京师，驻扎在新亭。
杨佺期和桓玄商议，此时的桓玄还是想到“撤”，至于杨，他掂量着自己，恐怕还不是刘、谢的对手，也答应先撤退。
于是军队退到蔡洲。