宋江对方腊不放心，而此刻让方腊最放心不下的却是儿子方天庆和侄儿方杰。
带了三万战士第一批去台湾打前站的老哥哥石宝和兵部侍郎高铭德已经顺利抵达目的地，并且派了一个心腹副将随返航的船队回到杭京报信，说那边的确如同宋公明所言，地广人稀，大宋的守备兵力和派驻的官府形同乌有，土著的高山人见了大陆的军队早已远遁深山，大越**民过去可以轻松的成为当地的新主人。虽然从已经获知的情况看，台湾山地多平原少，大规模农耕似乎有些受限制，但若人口不要太多的话，自给自足还是有希望的。
收到这个消息的方腊心中悬着的一块石头总算落了地，看来宋公明推荐的这个退步落脚之地还是可用的。饶是如此，他依然对自己带着部下历经十数年打下来的江东和两浙仍是恋恋不舍，毅然决然地拒绝了文武群臣和宋公明主张的建议，只安排杭京中愿意继续追随自己的官民士绅以及国库财务乘了大船作为第二批出海赴台，他自己执意率领护驾的两万禁军以及从湖州、苏州方向撤退下来的数万人马弃守杭州，经绍兴退往台州。仙霞岭那边已经着人送去谕旨，让方天庆即刻率军东来台州相会，而方杰却迟迟没有消息。此时方腊已经得知方杰在回军途中中伏兵败，以及叔父方垢命丧歙州的情形，心中十分焦急。他让人告诉昱岭关的守将庞万春，无论如何要寻找到方杰的余部。
离开杭州的那一天，成千上万的百姓携家带口尾随着大军蜿蜒而行，场面让一向以硬汉自居的方腊也不禁为之动容。他指着黑压压的人流，压制着胸中的郁闷和委屈同宋江说：“公明兄你看，多好的百姓啊！在方某起兵举义的时候，他们箪食壶浆，送子参军，如今方某遭遇挫折，他们也并没有嫌弃我。只是这些年来，方某没有为他们做些什么，真是愧对江东的父老了！”
宋江同样为眼前的情景有些感动，虽然他知道这里面有不少百姓是为着防备将来宋军收复杭州后可能实施的清洗报复而南下避祸的。他顺着方腊的话头说：“这说明方兄在百姓心中还是英明之主，只要今后能始终将百姓的利益置于行事的首要出发点，无论到了哪里，无论遇到怎样的暂时困难，都一定有机会东山再起的。”
也正是为着宋江这句话，部队在绍兴暂住的时候，方腊采纳了手下官员的意见，召见了追随撤退的百姓代表，告诉他们大军将撤往台州和温州一带，在那里与宋军决战，希望百姓自绍兴开始便不要再与大军同行，尽可以去金华、衢州、嵊州、甬州等地投亲避难，以免遭到战火的殃及。假定有愿意至死追随的，也可以离开大军提前去往台州，在那里可以乘坐海船去海外台湾。
几天后在大军离开绍兴继续撤往台州的途中，方腊得到了宋军已经进入杭州的消息。没等他长吁短叹，宋江就又来告诉他，再次返航的运输船队大概在两日之内就会从台湾直接来到台州，请他尽快安排好第三批人员的登船事宜。
他大略估算了一下，温台两地需要运载出海的军民共约五万，若加上方天庆那两万人马就有七万之众，这还不算可能到达的庞万春、方杰等人，这样来看至少要分两批登船。好在此刻他的结义兄弟、老将钱大均已经把南边的战事稳定住了，福建来的宋军也不再急着北上，似乎准备一门心思的防堵大越军向南逃走。倒是北边，大帅宗泽已督促着十多万宋军分兵南下，眼下据说再有两天就会接近绍兴府了。
方腊问宋江有什么好主意。宋江本想建议方腊应早日登船出海去台湾的，毕竟台湾那里现在已经过去了两批人马大约七万人，百事待兴，没有人主持大局是不行的。可是方腊执意不肯走，他说如果此刻自己离开浙江，这里的形势就可能马上变得恶化起来，因此自己必须要等到最后一批走。
宋江很理解方腊的心情，也知道民心得失对于大事至关重要，因而两人沉默了一会儿，把问题的焦点转移到如何拖住宋军南下的速度上来。宋江说：“台州本地也有不少的船只，应该马上派人征集组织起来，这样一次可以运载五万人，可以确保两次就把这里的军民百姓全部运走。按照每次往返要五六天时间计算，台州这里至少半个月以内不能出现宋军的大队人马，而绍兴距离台州不到九百里，想做到这一点并不容易。”