鉴于这种情况，杨嗣昌决定自己带着罗安邦、杨世忠继续围困衡州，由陈上才部引导关宁军先去攻打衡州，打通与广东的联系。
祖大乐和祖宽没有意见，王瑾的主力也不过几千人，和王瑾决战可比强攻衡州这样的坚城容易得多。在衡州大营休整一段时间之后，祖大乐、祖宽、陈上才所部官军约六千人南下郴州。
郴州不能再守了，留的人少了，抵挡不住如此之多的明军，留的人多了，主力被尽数牵制在此，死守就成了守死。黄色俊、刘文煌、刘新宇、阎可义、李荆楚等人都主张在郴州城外设伏打击明军，如果在北方，这种思路是非常正确的，而现在湖广闯军只此一支机动兵力，不要说吃败仗，就是大一些的伤亡也是难以承受的。
以少量老兵组织大量民兵的模式可以伏击湖广本地部队，但用来伏击关宁军恐怕会被反杀。如果老兵投入得太多，闯军又损失不起。祖大乐和祖宽都是王瑾的熟人，他们是不会轻敌的。就算闯军伏击得手，也没有一口气将这支敌人全部歼灭的实力，虽然能杀伤不少敌人，自己也会付出很大的代价。湖南饥民虽多，却难以迅速形成战斗力，不像北方那样有大量的资深流寇可以迅速以老带新。
王瑾决定撤到一个更有利的地形再抵抗，他自己带着主力部队向仓禾堡转移，让黄色俊、刘新宇去接应刘弘才和郝尚久，到仓禾堡会齐。刘文煌则留在郴州等待刘文炳从回来，接上刘文炳之后立刻撤回井冈山。刘文煌和刘文炳关系向来不错，这两位看名字简直就是亲哥俩。
明军占领郴州之后，根本没理会退向井冈山的队伍，直奔仓禾堡而来，根据他们掌握的情报，这里是流寇的老巢，流寇的主力、家眷和战利品都在这里。
祖大乐和祖宽杀向仓禾堡，陈上才则被派来进攻香花岭，守卫香花岭的是阎可义、刘新宇、郭子奴指挥的大约两千闯军。
这一战闯军大量动员民兵补充部队，又是保卫家园，又是在山地据险防守，民兵也能和关宁军对抗。香花岭矿工起义最早，和官府仇怨最深，知道失败之后一定被报复，抵抗意志非常坚决。王瑾迅速将部下的十一个大队每个都扩充到近千人，总兵力过万。这样的军队不能拉出去决战，却足以坚守已经被修成了堡垒的仓禾堡和香花岭。
由于地形复杂，明军不熟悉地形，人数也少，不可能完全封锁，所以就算打输了，部队也可以转移，不会像在郴州那样，一旦城破就是全军覆没。
陈上才过去镇压过小规模的矿工暴动，并未把香花岭守军放在眼里。然而他的第一次攻击被轻易打退了，他这才意识到，守卫矿山的是真正的流寇，而不是一般的乱民。
阎可义是经验丰富的军官，刘新宇的成长也很快，充任军官的又都是闯军老兵。在他们的组织下，原本就比一般农民更有纪律的矿工，已经成为了一支可以和明军正面对垒的力量。