虞允文赶到采石之后，发现情况比自己想象的更加危急，王权逃跑时太过焦急，官兵争夺船只，因此翻船淹死的居然超过了半数，侥幸渡过长江的大多不知所踪。现在采石仅剩残兵三千多人，而且士气极其低落，由于主将王权不知所踪，官兵们人心惶惶，少数人甚至连逃跑的念头都兴不起来，只是一脸木然地等着金军过来俘虏。
无奈之下，虞允文急忙将那些军官先召集了起来，晓以大义，并说明很快就有大量援军赶来，军心终于暂时稳住。可也有两个畏敌如虎的军官无心备战，反而想找机会逃跑，并在军营中大肆散布悲观的言论。结果虞允文连他们的名字都没问，便命令时俊将那两人斩首示众，一时全军肃然。
但是，由于虞允文不是南宋官员，这战功统计和犒赏就成了大问题，好在虞允文以民族大义为先，在来不及请示赵抗的前提下，许诺战功将按照赵军标准的犒赏。届时立功的将士既可以选择直接领取金钱，也可以选择从此加入赵军，官阶和待遇只会上升不会下降，为了让军士们安心，虞允文许诺赏金先由赵国官府垫付，等日后再和南宋朝廷交涉。
在虞允文软硬兼施之下，这支士气本已濒临崩溃的队伍终于又重新振作起来，而随着散兵的逐渐归队，采石矶守军的总兵力已经接近八千人，而这时金军的主力终于向采石矶发起了猛攻
虞允文命令陆军严阵以待，暂时按兵不动，而将数量本就不多的水军分成五队，其中两队沿着东西江岸巡逻以防出现突发状况，并以信号旗协助虞允文指挥全军；最精锐的一队则开往江心准备截击金军；而剩下的两队则作为预备队随时支援。虞允文在兵力严重不足的情况下，还敢分散兵力，是因为他相信南宋水师的战斗力，另外，金军人数太多，若没有预备队轮换的话，对方只需采用车轮战，宋军恐怕累都累死了。他刚指挥布置完毕，金军已经鼓噪大进，完颜亮手持小红旗，指挥数百艘战船渡江开来，一会便有七十余艘大船抵达南岸，直接向宋军发动进攻。由于兵力众寡悬殊，不少宋军官兵心生怯意，金军逐渐占据了上风，恐怕不用多久便可以成功上岸了。
眼见形势危急，虞允文视如雨的箭石如无物，来到阵前，对已经跃跃欲试的时俊看了一眼，下令道，“胜负在此一举，现在就看你们的了，除非金军撤退，不得后退一步！”
“得令！”，时俊大喝一声，率领那三百勇士乘着预备队的战船如虎狼般冲向最近的金军大船。两船还未相接，时俊抽出一根毛竹在甲板上一点，借力冲上了敌船。随着他如雷霆般地一声大喝，时俊抽出了背上的双刀，瞬即化作白光一片，挡者无不披靡，而他的部下见主将如此勇猛，也个个争先，硬生生地阻住了金军的猛烈攻势。