不过，殷仲堪又对他说，其实，以亲情相威胁，还有可能回头，希望他能劝劝自己的弟弟，让他早日松手，这可是诛族的大事。殷仲堪的言语能力不在桓玄之下，三下两下，桓伟就答应试着写信给弟弟。
收到哥哥那封言辞极为凄苦，连自幼丧父，兄弟相依为命，只盼弟弟能平安快乐都出来了，而送来此信的人又是殷仲堪的部下，桓玄也就明白事情的进展了。
在一旁的范之知道桓玄素来看重兄弟情谊，问他要如何做，桓玄反问他的意见。现在郭铨和苻宏已经顺江下去袭击殷了，阻止也来不及，范之于是提议按原计划进行。
桓玄点点头，说道:“殷仲堪为人犹豫少决，行事为子孙顾虑，不会谋害我哥哥的。再说哥哥为人厚道，在荆州有一定的名望，他也不敢把哥哥怎么样。”虽然话是这样说，道理也没错，他还是有微微的担心，决定再加快步伐，尽快把事情解决，毕竟荆州还有很多桓氏子弟。
见桓玄不为所动，自己顾虑也多，而桓伟也是忧心忡忡，但还是安慰殷仲堪，说灵宝只是闹闹，不会有大事的。殷仲堪又是好笑，这兄弟两的差异真不小，挥挥手，示意他可以回家了，桓伟反而坐下来，拍拍殷的肩膀，问他要不要自己亲自去劝劝弟弟。
殷知道这哥哥现在也没多大用了，不想再见到此人，说道:“卿难道真想留在此处为间”伟听着心中又是一怵，急急告辞了。
此时，桓玄派出的郭铨、苻宏已经击败了殷派出的在西江口屯兵七千抵御的殷遹，遹败奔。桓玄也已经兵至巴陵，吃在巴陵留下的食粮。殷又急急派出遣杨广、侄子殷道护率兵抵抗。
不久，殷又收到了杨佺期的回信，在桓玄派兵占领巴陵之时，他就向杨求助了。杨的意思是荆州缺少军粮，难以守住，希望殷能屈尊，二人共守襄阳。
殷仲堪在荆州已有八载，不想弃州而走，于是骗杨，说粮草已经准备得差不多了。而实际上，他现在也只能用胡麻犒赏自己的部队。
在巴陵的桓玄终于见到了半年多未见的索元，那家伙还是一样欢乐，他在荆州的表现让他很满意，也更加器重他了。玄问他独自在这边累不累，索元点点头，笑骂灵宝太绝情。
接下来，面对杨广和殷道护的进攻，桓玄又问他下一步做什么，索元说道:“南郡和冯将军领几千兵在巴陵，我带些兵迎战。等我胜后，南郡再紧随而上。”
桓玄反对道:“这样分散了兵力，而且让你一人带兵，太危险了。”
“灵宝大哥放心，这些人不是我敌手，你是主帅，不可妄动。”索元说道。
最后，经过一番的考虑，桓玄最终决定让冯该和索元一同先进兵，自己紧随其后，如果不同，可以给前方援助。当然，桓玄并没有出手，当他赶上时，索元等已经在收拾殷、杨留下的残兵。
屡屡取胜，江陵一带皆为震惊。桓玄乘胜进兵，屯至零口，这里离江陵只有二十里。离江陵越近，桓玄越紧张，殷仲堪，自己该以什么姿态面对他，索元见桓玄面有忧色，问道:“灵宝哥哥怎么了”
“没什么，我只是在想殷荆州，多年的老友了。”
“荆州也信奉天师道，向鬼神祈祷祭祀时从不吝惜财物，又时对急需帮助的人却过于小气，不是灵宝大哥的对手啦。”索元说道。
桓玄苦笑，说道：“仲堪优点也多，常常亲自替别人把脉诊治。”
“他就会弄些小恩小惠，工于心计，谋略却短。”一旁的冯该说道，他向来不喜欢殷仲堪。
这些人都是自己的手下，这样说也不奇怪，但也有点道理，可是
桓玄解释道：“佺期兵势旺，一鼓作气攻过来，我们恐怕难以抵挡，即使挡住了，也会损失大半，先避开。”冯该也赞同他的决定。
于是，桓玄退兵至马头，并叫冯该等做好准备，他估计杨会转而进攻郭铨等人。索元显得比较兴奋，立刻嚷着要去，桓玄却叫他留下来看江陵城外的部队，密切关注那里举动。
见桓玄兵退，果然佺期第二天就领兵紧急进攻西江口的郭铨、苻宏等人，佺期勇猛，几乎要生擒郭铨。这时，桓玄、冯该等带着兵马赶到，杨的士兵猝不及防，被桓玄打得大败，佺期逃奔襄阳。
桓玄也不容他逃，立刻叫冯该追捕杨佺期和杨广。