此时，他最爱的桓胤侄子也从家里到荆州，其他的桓胤是不会插手，倒是这件事让他也不开心了，他最不喜欢的就是有人看不起自己的叔叔，于是，他给叔叔出主意，说道：“他不见我，我们就去见他。“
“要我去拜访他不可能。”桓玄当即回绝。
“他不是喜欢游山水吗我们就邀他游山，再借机欺负他。”
桓玄摸摸自己侄子的头，说道：“胤儿，你都快三十，还这么调皮。不过这个主意不错。”
刚刚安定下来的桓玄又不安分了，和桓胤商量着去何处游玩。从地理上考虑，为了方便那位姐夫，他们挑的地点是衡山，而且南岳衡山对应星宿二十八宿之轸星，轸星主管人间苍生寿命，南岳故名寿岳，也满足了他们猎奇的心里。
执笔邀请的是桓胤，桓胤的名声好，在荆州之地，受他邀请的人一般都不会拒绝，王裕之也不例外。
桓玄拖着桓胤，带着陶渊明，跟着人数位家仆，不顾刘清、仙期、范之等人的反对，就踏上衡山之旅。
又在巴陵，桓玄和这个姐夫碰面了，从外貌上来说，这姐夫还配不上自己的姐姐，他形貌算不上猥琐，但身材短小，比一下，差不多矮自己一个头。
一见面，桓玄就直接报出自己的名字，王裕之显然愣了一下，不过想想桓胤是他的从侄，就不觉得奇怪了。
妻弟是妻弟，南郡公是南郡公，同游是同游。不想见妻弟，是因为和妻子关系不和，不想见南郡公，是因为看不惯他的盛势与无情，但如果只是和自己同游，他还是欢迎的。
一番接触下来，桓玄虽然觉得此人的外貌偏下，但是行为端庄有大家之气，算是弥补不足了。问起他为何把姐姐搁在自己那里，他回答如果妻子想回来，自然就会回家。
谢安的女儿和王珣不和，谢就直接把女儿接回家，难道自己会容不下姐姐但是在他眼里，面前的人难和王珣比肩，暗想着找个比他好的人，把姐姐再嫁出去算了。这事也先放下，至于桓胤，似乎早忘了自己邀这人出行的初衷了。
去衡山路上，桓玄又见他走路平平稳稳，坐下端端正正，开玩笑说道：“卿坐起端方，可谓弹棋八势。”陶渊明和桓胤都忍不住笑了，这个桓玄比喻虽然有点不伦不类，但确实形象。
弹棋，博弈一种，开局前双方会先摆好棋子，然后相互攻击，为了让自己的棋更稳固，通常会摆得上窄下宽。
虽然这话有点夸他，但这比喻用的实在让人不开心，虽说不上记恨，但王裕之是更不喜欢这妻弟了。
这次衡山之旅，还算尽兴，游山赋诗，饮酒听乐，如此而已，当然，他也不忘记录一行人游山时所作的诗，并作一序为南游衡山诗序：
岁次降娄夹锺之初，理楫将游于衡岭，涉湘千里，林阜相属，清川穷澄映之流，涯涘无纤埃之秽，修途逾迈，未见其极，穷日所经，莫非奇趣，姑洗之旬，始暨于衡岳，于是假足轻舆，宵言载驰，轩涂三百，山径彻通，或垂柯跨谷，侠献交荫，或曲溪如塞，已绝复楷或乘步长岭，邈眺遥旷，或憩舆素石，映濯水湄，所以欣然奔悦，求路忘疲者，触事而至也。仰赡翠标，邈尔天际，身凌太清，独交霞景，周览既毕，顿策岩阿，管弦并奏，清徵再响，思古永神，游气未言。
在桓胤看来，自己叔叔写的肯定是好的，陶以为，光从写景上来说，确实写出了山径、、垂柯、曲溪的特色，而他对于情绪的描摹也符合当时的心境，但向来质朴的他还是不喜欢这种近于玄言的诗序，一笑了之。
游完了，目的没达到，姐还是住在江陵，只算是自己暂时从俗务中解放出来，算算时间也要回家了。
这次回家，没了上次激动的相迎，仙期把一封万盖的信转给桓玄，他手心微微出汗，仙期安慰说没事，如果他出事，就写不了信了。
最终还是拆开了纸装的丝信，他在里面只说自己已经混进孙恩内部，在海边负责接应提供给孙恩的财物。而且，以他的商业头脑估计，这些东西只够那里再吃几个月，预算到年底，孙还会出海掠夺一次。