高仙芝听了封常清的详细汇报，知其所言非虚，于是接受了他的意见，率军退往潼关。
到了崤山，只有一条狭窄的通道。也不知是谁传言，说安禄山的部队追上来了。顿时，这只临时拼凑的部队立刻暴露出致命弱点，士兵们四处逃窜，结果是自相践踏，死伤无数。
高仙芝好不容易收拢好部队。一赶到潼关，高仙芝和封长清就亲自监督，加固城防工事，并在关前挖了三道宽两丈、深两丈的壕堑，以阻挡安禄山的骑兵。
安禄山部将崔乾佑率部随后赶至，如果高仙芝和封长清不及时撤出陕郡，那就全军覆没了。
崔乾佑虽然骁勇，但是他的对手是名将，而且高仙芝和封长清据险以受守，几次强攻，结果是损兵折将，崔乾佑只好退居陕郡。临汝、弘农、济阴、濮阳、云中等郡都降于安禄山。
当时，唐廷所征的朔方、河西、陇右诸道兵，尚未抵达长安，关中震动。幸好安禄山滞留洛阳准备称帝，没有全力进攻，加之高仙芝、封常清及时退守潼关，作好拒守准备，遏制了安军攻势，关中军民慌恐之情才得以稍安。
高仙芝和封长清忙得昏天黑地抵御强敌，一个没事干的人就不高兴了，他就是宦官边令诚。原来他好不容易有机会出宫，而且还当了监军这样重要的职务，心想一定要大捞一笔。从陕郡撤退时，高仙芝见仓库里的物质器械充实，命令士兵能拿多少就拿多少。边令诚对军用物质一点也不敢兴趣，他装了满满一车贵重物品，让封长清帮忙，找士兵推车。封长清很忙，哪有闲心管他这点破事。
边令诚又找高仙芝帮忙，高仙芝一口拒绝。高仙芝下令焚烧不能带走的物质，这些东西不能留给安禄山。看着自己的一车贵重物品被烧，边令诚心如刀割，心中升起无名怒火：我一定要杀你二人，以泄我心头之愤。
封常清在反省，觉得之前说“十日内取安禄山首级”的话，是不了解敌情的。数万人的流血牺牲，换来深刻的教训。封常清一夜未睡，沉重的写好总结，三次派使入朝上表陈述叛军的形势，但玄宗都不见。封常清只好亲自骑马入朝报告，行至渭南，玄宗已下敕书剥夺了他的官爵。让他以白衣在高仙芝军中效力，高仙芝命封常清巡监左右厢诸军，以助自己。
边令诚趁入朝奏事，向玄宗反映了高仙芝、封常清败退的罪状，并说：“封常清常常在部队里说叛军如何强大，动摇军心，助长敌人气势；而高仙芝弃陕地数百里，不战自溃，而且贪污粮饷。陛下，现在是战争时期，不严办此二人，不足以正军法。”
玄宗考虑良久，决定开杀戒。难道玄宗真的认为高仙芝、封常清是奸臣，非杀不可吗？
玄宗有自己的考虑：
安禄山攻下东都洛阳，仿佛在一夜之间，半壁江山沦陷，这是唐朝自开国以来遭遇的最大失败。出了这么大的事，总得有人来背黑锅吧。如果没有人负责，那么百姓、百官就会把所有的不满和愤怒指向自己，甚至动摇自己的帝位。高仙芝是天下兵马副元帅，封长清是名将，这两人够分量。玄宗决心杀此二人，转移国人的注意力。
玄宗于十八日(即公元756年1月24日)派遣边令诚赴军中斩高仙芝与封常清。边令诚到了潼关，先把封常清抓起来，向他宣示了敕书。
封常清自知难免一死，说：“常清自战败以来，就想一死殉国，就时时刻刻想出城与敌决战。但我不想让我的头颅挂在敌人的城头上，助长敌人的嚣张气焰。所以苟活于世，我想为国尽绵薄之力，我愿死在自己人手中。今当死，请大人把我写的遗表，务必转交陛下。”