孝昌三年二月下旬，恒州都督斛律洛阳逆行倒施、指鹿为马，斥河东道大都督尔朱荣为国贼，并且以河东道大都督自居，以“肃清国叛”为名向南进军。</p>
同年三月，尔朱荣采用卫铉声东击西、诱敌深入之计，于漯水河谷南段设伏，大破斛律军主力，贼首斛律洛阳陷入重重包围、自刎身亡。</p>
漯水河谷战役方毕，尔朱荣马不停蹄，亲率大军北上。漯源城一万守军、怀安镇五千士兵和伤兵听闻主力大军全军覆没，斛律洛阳父子已死，心知大势已去，他们在各自主将的率领下，献城投降。斛律洛阳次子斛律诚率领斛律氏嫡系士兵仓惶逃往桑干郡，与楼震和穆元英在郡治桑干城会师。</p>
尔朱军前军主将叱列延庆奉命追击，麾下士兵虽然只有四千精骑，但是将士们勇悍非常、士气如虹，对上一万多名士气低下、仓惶奔逃的叛军却是绰绰有余。</p>
叱列延庆不负尔朱荣之厚望，他率大胜之师追杀至平齐郡和桑干郡交界，途中取得了斩首千余、俘虏五千的战绩。</p>
至此，恒州平齐郡全境、善无郡南部为尔朱荣收复。随后，尔朱荣挥师东进，将三万余名叛军士兵困在桑干城。</p>
与此同时，西陉关主将尧雄奉尔朱荣之命，率领三千精锐、四千辅兵出关，且在两天之内连克兵力空虚的南平城、桑乾城、桑应城，彻底拨出了桑干城东方、东北方的“卫星城”；之后，驻军于桑干城东城，以防叛军逃往东方的繁畤郡和灵丘郡、东北方的代郡。</p>
尔朱荣亲率中军坐镇城北的黄瓜堆镇，另派两支军队围困西城和南城。</p>
尽管叛军出城作战的可能微乎其微，可是刚刚打下一场大胜的尔朱荣扎营时却是—丝不苟、没有丝毫大意。他不仅广派斥候、哨兵，还让士兵在营外挖掘壕沟，之后再在沟里洒下绳子串起来的铁蒺藜，营栅之内又倒插长矛以作拒马阵，此外还竖起几座眺望塔。</p>