张辽转告关羽，关羽当即率残部下山向曹知行缴械投降，曹知行亲自来到城外的荒山下，见关羽率独立团残部全部集合于山下，笔直站立，暗暗佩服。关羽向曹知行朗声敬礼道：“独立团二营中校营长关羽，率残部集结于此，请司令受降！”
曹知行慌忙还礼道：“关营长言重了，大家都同为共和，什么受降不受降的。走，一同入城再叙。”
“是！司令。不过，关于卑职的三个条件，还请您不要反悔。”
“怎么会？我身为共和总司令，如果说的话出尔反尔，那还怎么服众？关营长尽管放心。”
“谢司令！”
于是，关羽等人与中央军一同入城，第二天中央军班师回开封，关羽也带着刘备夫人穆氏随中央军一同回去。到了开封，曹知行特意为关羽拨了一栋洋房供其居住，关羽让穆夫人住二楼，自己则住在一楼，而且不随便上楼，以尽叔嫂之礼。
曹知行对关羽非常器重，拨了两千官兵供其调遣，还准备任命关羽为团长，关羽坚持不受，仍为营长；自从关羽来到开封，曹知行常常宴请他，还送了许多的金银珠宝，绫罗绸缎，有一次还送去十个美女，关羽将财物都给穆夫人收着，让美女们去服侍她。曹知行得知，更加赞赏关羽。
一天，曹知行又宴请关羽，席散后，曹知行送给关羽一套崭新的呢子军装，还把吕振威的追风赤兔马也送给了他，关羽十分高兴，向曹知行称谢，曹知行不解，问道：“关营长，本司令送你美女财物，你都不曾动容，为什么今天送了你一匹马，却如此高兴？”
“司令，这匹马健步如飞，能日行千里，有它相助，一有大哥的消息，我就能很快见到他了。”
曹知行很不高兴，关羽走后，曹知行叫来张辽，吩咐道：“张辽，本司令对他关羽这么好，可是他居然还天天想着去找刘小林，太令本司令失望了。你抽空去试着跟他聊聊，看看他究竟作何打算。”
“卑职遵命。”
第二天，张辽去见关羽，关羽留他吃饭，张辽问：“老关，你觉得曹司令对你怎么样？”
“司令的赏识和厚爱，关羽没齿不忘。”
“那你打算……”
“等有了大哥消息，我一样会走。”
“老关，刘团长对你，不比曹司令对你好，可你为何还总想着离开？”
“我们兄弟三人义结金兰，生死与共，我决不会背叛兄弟的事情。至于曹司令，我一定先立战功报答了他，然后再走。”
“果然够义气，可……万一刘团长不在世了，你怎么办？”
“那我就随他而去，决不苟且偷生！”
张辽回报曹知行，曹知行对关羽的做法表示佩服，但内心不悦，程昱见状，劝慰道：“司令勿忧，关羽义气深重，说立了战功才会走，如果不让他有立功的机会，他可能不会就这么一走了之，所以您就还有机会将其收为己用。”
之后不久，袁洋的36军南下攻打河南，刘小林也随军参战。袁洋派一师中将师长颜良为前部，进攻安阳，曹知行率中央军赶往安阳增援，关羽也率独立营开拔到安阳，曹知行怕关羽立了战功就会走，就没给独立营派任务，将其闲置。
原66师的宋宪和魏续投降后，二人在中央军第三军任中校团长，此次第三军中将军长夏侯华派二人率部与36军一师交战，36军一师作战能力强，中央军两个团很快被击溃，死伤殆尽，宋魏二人也当场阵亡。曹知行见初战失利，怕影响士气，十分忧心。
参谋们很快制定出对付36军的作战方案：派一支战斗力强的部队主攻，另选两支实力不弱的部队助攻。
谈到部队人选，曹知行让夏侯荣的第一军出两个主力团助攻，但主攻部队人选却众说纷纭，莫衷一是。许真说：“司令，听说刘小林现在正在36军，不如派关羽的独立营主攻，借关羽的手击退36军，优柔寡断的袁洋得知，肯定会怨恨刘小林，很可能会杀了他。刘小林一死，关羽不就无处可去了吗？”
“嗯，就这么办，让独立营主攻。”
于是曹知行叫来关羽，说明战况后，将主攻的任务交给了他。不久两军交火，第一军的两个团拖住1师主力，独立营直冲颜良指挥部，一阵枪打炮炸，很快就端了1师指挥部，颜良和几个参谋措手不及，都被迫击炮炸死，1师总指挥系统瘫痪，顿时溃不成军，中央军趁机进攻，全歼1师。曹知行中央军得知大胜36军，大喜，勉励关羽道：“关营长果然名不虚传，本司令佩服！”
“司令过奖了。卑职三弟张飞勇猛过人，他带的部队可比卑职更能打。”
曹知行想：乖乖，关羽的厉害，本司令早就见识过，想不到张飞居然比他还能干，不可不防。想着，便令副官记下：下次如果遇到张飞的部队，千万不可轻敌。
袁洋得知1师全军覆没，大怒，作战高参沮授说：“军座，据卑职了解，这次是中央军独立营端了1师的指挥部，才导致1师溃败的。这独立营营长正是刘团长的二弟关羽。”
袁洋怒火更甚，指着刘小林吼道：“好你个刘小林，没想到你投奔我居然是为了和中央军里应外合颠覆我们，留你不得！来人，拉出去乱枪打死！”