程昱献计道：“关云长勇猛无敌，如果不用智谋无法战胜他。现在可以派刘备手下的降兵，潜入下邳，面见关公，就说自己是逃回来的，让这些降兵藏身在下邳城中作我们的内应；然后引诱关公出战，我们假装失败，诱导他进入其他地方，再派精兵截断他的归路，这样就能拿下他，可以劝降他了。”曹操听从了这个计策，立即派遣数十名徐州降兵，直奔下邳去投降关公。关公误以为是旧部，未加怀疑，便将他们留了下来。
第二天，夏侯惇作为先锋，领兵五千前来挑战。关公不出战，夏侯惇便派人站在城下辱骂他。关公大怒，带领三千士兵出城，与夏侯惇交战。双方约战了十几回合，夏侯惇便开始撤退。关公紧追不舍，夏侯惇且战且走，关公追了大约二十里，担心下邳城失守，便带兵回撤。突然，一声炮响传来，左侧有徐晃，右侧有许褚，两队军马截住了他的去路，关公急忙夺路而逃，结果两侧埋伏的精兵纷纷放出硬弩，箭如飞蝗。关公无法通过，只能掉头回来，徐晃和许褚紧随其后与他交战。关公奋力抵抗，击退二人，准备带兵回下邳，然而夏侯惇又截住了去路，与关公继续激烈交战。关公战斗到天色渐晚，已经无路可退，只能带兵撤到一座土山的山头上暂时歇息。曹军将土山团团围住。关公在山上远远地看到下邳城中火光冲天，原来是那些诈降的兵卒偷开城门，曹操亲自率大军杀入城中，命令点起火把迷惑关公。关公看到下邳起火，心中焦虑，几次想趁夜冲下山去，但都被乱箭射回。
捱到天亮，关公正准备整顿兵力再下山冲杀，忽然看到一个人骑马上山，定睛一看，原来是张辽。关公迎接他，对他说道：“文远，你是来与我交战的吗？”张辽回答：“不是。我是想起往日与兄长的情谊，特地来看看你。”于是，他丢下刀，下马与关公互相问候，礼节完毕后一起坐在山顶。关公问：“文远，你是不是来劝降我的？”张辽说：“不是。以前兄长救了我，今天我这作弟弟的怎能不来救兄长呢？”关公说：“那这么说文远是来帮助我的吗？”张辽回答：“也不是。”关公又问：“既然不是来帮助我的，那你来这里做什么？”张辽说：“玄德生死未知，翼德的安危情况也不清楚。昨晚曹操已经攻破了下邳，军民都没有受到伤害，已经派人保护了玄德的家眷，保证他们不受惊扰。弟弟我特地来告诉兄长这一切。”关公听后愤怒地说：“这话分明是针对我说的。即使我现在处于困境，我也视死如归。你应该快走，我立刻下山迎战。”张辽大笑说：“兄长，你这话岂不是让天下人笑话吗？”关公说：“我因忠义而死，岂会让天下人笑？”张辽说：“如果你现在死了，罪过有三。”关公问：“那你说说看，我有哪三罪？”张辽回答：“当初刘使君和你结义时，誓言同生死；如今使君刚遭遇这次的失败，而你就战死。如果使君又重整旗鼓，想求得你的帮助，但却再也无法见到你，这难道不是违背了当年的誓言吗？这是第一罪。刘使君把家眷托付给你，你现在战死，两位夫人就无依无靠，辜负了使君的托付，这是第二罪。你武艺超群，又通晓经史，不想着帮助使君一同复兴汉室，却只想着赴汤蹈火，追求匹夫之勇，这怎么能算作义呢？这是第三罪。你有这三罪，我不得不告诉你。”
关公沉默片刻，说道：“你说我有三罪，那我该怎么办？”张辽回答：“如今四面曹军包围，如果兄长不降，必定死于曹军之手，白白死掉徒劳无益，不如暂且投降曹公，然后同时打听刘使君的消息，如果知道他在哪里，可以立刻前去投奔。第一，可以保全二位夫人；第二，不背叛桃园誓言；第三，可以保住自己这将来可堪大用的性命。这三点好处，兄长要好好考虑。”关公说道：“你说了这三点好处，我这里有三条约定。如果曹丞相能答应，我立刻卸甲归降；如果不答应，我宁愿背负三罪而死。”张辽问：“丞相宽宏大量，没有不能包容的，我愿意听听你的这三件事。”关公回答：“第一，我与刘皇叔立誓共同辅佐汉室，现在我只会投降汉帝，不是投降曹操；第二，我的两位嫂子仍应领皇叔的俸禄，所有家人都不允许到曹操门下；第三，我一旦知道刘皇叔的去向，不管相距千里还是万里，我就会立刻告辞，去投奔皇叔。如果三条中有一条缺失，我决不会投降。请文远你快回去传达。”张辽答应后上马，回到曹操处，先说降汉不降曹的事。曹操笑道：“我是汉相，汉即是我，这条是可以答应的。”张辽又说道：“两位夫人要求继续领取皇叔的俸禄，并且所有家人都不准到曹操门下。”曹操说：“我在皇叔俸禄的基础上，再加倍奉上。至于严禁内外，这是家法，怎会有疑虑！”张辽接着说道：“一旦知道玄德的消息，即使远在千里，我也会前去。”曹操摇头说道：“那这样的话我养云长有什么用？这件事难以答应。”张辽说道：“难道您没有听说过豫让被众人以国士相论吗？刘备对云长不过是恩情深厚罢了，丞相如果再更加的施加厚恩，还用担心云长不效忠于您吗？”曹操说道：“文远的话很有道理，我愿意遵从这三条约定。”张辽再回山上向关公报信。关公说：“既然如此，请丞相先撤兵，让我进城见两位嫂子，告知她这个情况，然后投降。”张辽回去，向曹操报告。曹操即下令撤兵三十里。荀彧劝道：“不行啊，这可能是个诈降之计。”曹操说道：“云长是义士，绝不会失信。”于是引军撤退。关公带兵进入下邳，看到百姓安稳无恙，便直奔府中，见到了两位嫂子。甘夫人和糜夫人听说关公来了，急忙出来迎接。关公在门阶下拜道：“让两位嫂子受惊了，是我的罪过。”两位夫人问：“皇叔现在在哪里？”关公答道：“不知道他去了哪里。”两位夫人又问：“二叔现在要怎么办？”关公回答：“我出城死战，被困在土山上，张辽劝我投降，我以三件事作条件，曹操都答应了，所以特地撤军放我进城。我没有得到嫂嫂的同意，所以不敢擅自决定。”两位夫人问：“那三件事是什么？”关公将三件事一一告诉她们。甘夫人说：“昨日曹军入城，我们都以为必死无疑，谁曾想一兵一卒都没有动。既然叔叔已经得到曹操的诺言，何必再问我和两位嫂子的意见？只是担心以后曹操不能容许叔叔去寻皇叔。”关公回答：“嫂嫂放心，我自有应对的办法。”两位夫人说道：“叔叔自有分寸，凡事不必再问我们这些女人。”
关公告辞后，便带着数十骑兵前去见曹操。曹操亲自从辕门出来迎接。关公下马行礼，曹操急忙回礼。关公说道：“败军之将，深受不杀之恩。”曹操答道：“我一直敬仰云长的忠义，今天能见到你，真是得偿平生之所愿。”关公接着说：“文远已代我禀告了三件事，蒙丞相答应，我相信丞相不会食言。”曹操答道：“我的话一旦说出，怎么敢失信？”关公继续说道：“如果我知道皇叔的下落，不论是踏入火海还是涉水而行，我必定会去追随他。那时候恐怕来不及告辞，还请丞相原谅。”曹操说道：“如果玄德在，我一定会让你跟随他离去；只是恐怕他在乱军中已经死了。云长你且放心，我会继续留意。”关公感激地拜谢。曹操设宴款待关公。第二天，曹操带领大军返回许昌。关公收拾好车仗，请两位嫂子上车，亲自护送着车队行进。途中在一个驿站休息，曹操想要混淆他们君臣之间的礼节，让关公与两位嫂子共处一室。关公于是提着蜡烛站在门外，直到天亮，丝毫不显疲倦。曹操看到关公如此，愈加敬佩他。最终，他们到达许昌，曹操为关公安排了一所府邸居住。关公将府邸分为两院，内院由十名老兵把守，关公自己住在外院。
曹操将关公带到献帝面前，献帝命关公为偏将军。关公谢过恩典后返回府邸。次日，曹操设下盛大的宴会，邀请众多谋士和武将，以宾客之礼款待关公，并将他安排在上座；还送上了绫锦和金银器皿等礼物，关公将这些礼物全部交给两位嫂子收