于是，各地均爆发了起义，规模从几百人到几万人不等，原天威军成员成了其中的重要组成部分。
起义军们占领州县，诛杀契丹官员。
虽然遍地是反抗契丹的游击队，但缺乏统一领导，各自为战，且本身匪性不改，除了杀契丹官员，也会劫掠汉人百姓。
刘知远称帝后，各地起义军首领纷纷上疏刘知远，表示自己愿意接受他的领导。
磁州治下的滏阳县起义军首领梁晖，手下拥有数百人，就向刘知远表示投降归附。磁州刺史李毂秘密上疏给刘知远，建议他让梁晖进攻相州。
在吸纳、招安地方武装时，必须要对其进行严格的筛查，严格把关，不能饥不择食，否则后患无穷，比如《亮剑》中收编黑风寨。相州，就是组织上对梁晖的考验，也是梁晖纳上的投名状。
梁晖非常重视组织上的这次考验，先对相州进行了侦查，得知契丹委任的节度使高唐英还没到任，城内空虚，且军械库中存有大量武器。于是，梁晖趁夜色偷袭相州，杀死数百契丹兵，接管相州，随后梁晖自称相州留后，上奏刘知远，汇报夺城经过。
耶律德光布置的围堵河东的防线，在东南面被撕开一道缺口。
刘知远派亲信史弘肇进攻代州，史弘肇一鼓作气，斩杀叛投契丹的代州刺史王晖，河东北面的防线也被撕开。
刘知远派张晏洪游说晋州建雄军节度副使骆从朗。
晋州节度使刘在明接受了契丹人的政治诱降，前去汴州报到拜码头，临走时命节度使骆从朗代理晋州刺史。
张晏洪向骆从朗陈以民族大义，骆从朗执迷不悟，将张晏洪一行人全部逮捕。晋州将领药可俦诛杀骆从朗，百姓亦诛杀了契丹派来搜刮钱财的“括钱使”赵熙，随后众将推举药可俦为晋州留后，药可俦表示归附刘知远。
晋州在潞州的西面，是围堵河东防线的西南面，这里也被撕开了缺口。
此前，潞州西昭义军节度使张从恩畏惧契丹，便向契丹称臣，派使节出使河东，邀请刘知远一块儿去汴州拜码头。当时，刘知远回复说我河东地狭兵弱，不可能与强大的契丹作对，当然也要臣服契丹，你先去，我处理一下手头的工作，随后就到。
张从恩认为言之有理，于是就收拾行囊包裹，赶赴汴州。
他的幕僚高防劝阻，说您是后晋的皇亲国戚（张从恩是国丈，石敬瑭坐镇河东时，为石重贵娶其女，石重贵登基前张氏病逝，被追封为张皇后。另有记载说张皇后是张从恩的张从训之女），谁都能变节臣戎，唯独您老人家不行啊！