回到监狱以后，海丝特·白兰非常兴奋，难以控制，必须得有人在旁边看着，要不然她就自戕或做出伤害可怜婴孩的傻事。临近傍晚，以训斥和惩罚的恫吓来对付她的忤逆被证明是无效的，监狱长布雷克特先生觉得请一位医生。这医生在他看来不仅通晓基督教各门医学，而且精通野蛮人所掌握的、大量森林野生草药知识。实际上，急需医生照顾的，不仅仅是海丝特本人，最需要照顾的还是那孩子。那孩子从母亲怀里吸取营养，好像将渗透在母体中的骚动、烦恼和绝望也同时吸了进去。这时，她正在疼痛的抽搐中扭动，她小小的身体是海丝特·白兰精神痛苦的形象写照。
跟在狱长后面，一个长得很奇怪的人走进阴暗的牢房，他就是在看客中出现过并引起她这个佩带红字者强烈兴趣的那个人。把那个人投进监狱，并不是怀疑他犯了罪，而是因为在总督和印第安酋长就他的赎身这件事拍板之前，这样处置是最方便、最合适不过的。他的名字据说叫罗杰·齐灵沃斯。狱长带他进屋以后，呆了一会儿，狱长为伴随此人而来的突然的安静感到惊讶：海丝特·白兰就像断了气一样，尽管孩子还在持续地呻吟。
“朋友，请让我和病人单独谈谈，”医生说，“善良的狱长，请相信我，你的牢房会迅速太平起来；我还能够向你担保，今后白兰太太将更服从官长的监管，而不会有刚刚你们所见到的情形。”“要是您的许诺确实能兑现，我一定奖励你，”布雷克特先生答道，“说实在的，这女人一定是中了邪；我用尽了所有方法，只差用鞭子撵走她身上的撒旦。”
那陌生人带着特有的稳重走进屋来，这和他自称为医生的身份是相配的。当狱吏出来后，他和她面面相觑时，他的表情仍旧没有变化。还在人群之间时，她对他的超常的注意已暗示他们之间有一种非常密切关系。他开始关心的是孩子，其实，那孩子在转轮矮床上的辗转哭叫，使人必须丢开一切去安抚她。他注视着婴孩，随后打开从衣襟里取出的皮匣子。匣子里看上去装的是药品，他拿出一颗放到一杯水里。
“我以前对炼金术的研究，”他说，“加上我又有一年多旅居在对各类药草的药性相当有研究的人们之间，这让我比那些以医学士自命的人更懂得医道。来，你这女人!这孩子是你的，她和我没有关系——不管是从声音上还是从相貌上，她都不会把我当成父亲。所以还是你亲自给她喂药吧。”
海丝特拒绝了他递过来的药，同时以一种非常疑虑不安的神色看着他的面孔。“你打算从这无辜的孩子身上为自己报仇吗”她低声问道。“蠢女人!”医生以半冷酷半安慰的口吻回答道。“难道我发了疯，竟会伤害这个私生的不幸的婴儿这药效果很好，要是她是我的孩子——也就是她是我的，也是你的——我也只可以给她这个。”
她还在犹豫，实际上，她已没有了理智，他把婴儿抱在怀里，自己给她服了药，药马上生效，兑现了医生的诺言。小病人的呻吟停止了；她的痉挛抽搐也慢慢停止；片刻后，就像解除了病痛的小孩一样，她进入了深绵香甜的梦乡。这个理直气壮地以医生自居的人接着着手照料这位母亲。他给她把脉，冷静而专注地坐着检查，他看着她的眼睛——这眼神让她的心为之萎缩而颤抖，因为它是这样熟悉，却又是这样陌生和冷酷——最后待他以为检查完后，他研制了另一种药。
“我不懂什么迷魂汤或忘忧草，”他说，“然而，我还知道荒原中许多秘密药物，这就是一个印第安人教给我的一种处方，由于我将帕拉塞尔斯的那些老知识教给他，他特意拿这个来汇报我。这剂药给你的抚慰大概比不上纯洁的良心，那是我不能给你的。然而，它将会镇定你的膨胀并且狂乱的激情，就像把油倒在咆哮的海浪上一样。”
他把杯子递给海丝特，她慢慢接过来，一面严肃地盯着他的脸，那眼神显示的不仅仅是害怕，而是对他的用意的怀疑和探询。她又看了看她那熟睡的婴儿。“我曾经打算死，”她说，“情愿死，甚至为之祈祷过，如果说我仍然有资格祈祷的话。然而，要是这杯水会把我毒死，那么在你看着我一饮而尽以前，请你再想一想。虽然此时它已经到了我的唇边。”“那么，就喝吧，”他回答说，依然是那么冷漠，那么不动声色。“海丝特，你就这样不懂我我的用心真会这样浅薄要是我真怀有复仇的打算，我除了让你活着，给你治疗，解除你的病痛和生命的危险从而让滚烫的耻辱仍然在你胸中燃烧之外，我还有别的更好的选择呢”他边说边把长长的食指放在那红字上，这字好像是火红滚烫的尖刀，直接就刺进了海丝特的胸口。他注意到她那下意识的举动，微笑起来。“因此你就认命吧，在群众眼前，在你被你称为丈夫的人眼前，在那孩子眼前继续活着!而为了活着，把这药喝了吧。”
海丝特·白兰没有等他规劝，也没耽误时间，就把这杯药一口喝完。靠这个有才能的人的指点，她坐到正睡觉的孩子床旁，他也拉过房间里唯一的椅子坐到她旁边。这种安排禁不住使他惶恐起来，因为他明白，眼下他所做的所有皆出自人道或原则，或者也能够说是一种优雅的残忍，单单是为了解除她肉体的痛苦而迫不得已，而接着则必然会以一个深受她所害的男人的身份来和她说话。
“海丝特，”他说，“我不问你为什么或如何堕入深渊，更确切地说，你是如何被押上那耻辱的示众台的——我就是在那里找到你的。其中原因不用多问。那怪我不明智，怪我孱弱。我——一个思想家，一个大书蠹虫，一个为了学习知识而耗尽自己青春年华的就要死去的人，对你的青春、你的美貌，又有什么用处呢我打从出生起就是一个畸形的怪物，怎么居然会鬼迷心窍地以为知识的天赋能够在少女的幻想中遮挡肉体的缺陷人们说我聪明，如果说圣人处事的确明智，我应当早就预见所有。当我走出广袤阴森的森林来到这基督教徒的殖民地时，早就应该料到，进入我眼帘的第一个东西就是你海丝特·白兰，一个站在众目睽睽之下受辱的雕像。不!当我们作为一对配偶从古老教堂的台阶一起走下时，我就应当知道在我们道路的尽头燃烧的红字在发出邪恶的火光!”“你该清楚，”海丝特说——虽然她够沮丧的了，但她还是容忍不了他对她耻辱的标记所做的闪烁其词的诽谤——“你该知道，我对你是坦白的，我没有体味过爱情，也从来没撒过谎。”“不错，”他说，“这正是我的愚蠢之处!我已说过这意思。然而，直到那个时候，我都在浪费时间。人间竟这样冷漠无情!我的心大到能够容纳众多宾客，却自始至终孤独、凄凉，没有任何的家庭温暖。我渴望燃起一座家庭火炉!这好像不应是什么不切实际的想法，虽然我老了，虽然我忧郁，虽然我长得很丑，可这种全世界到处都是、全人类都有权享受的朴素的幸福，大概也该有我一份吧。正是因为这样，我将你拥入我的怀抱，引入它最隐蔽的地方，从而以因为你的到来而产生的温暖来抚慰你!”“我伤害了你。”海丝特呆呆地说。“我们互相伤害，”他回答道，“先是我害了你，是我引诱你含苞的青春与我的衰朽结成假关系。因此，作为一个有思想、懂道理的男人，我不报复你，不想伤害你。在你和我中间，那天平非常平衡。可是，海丝特，那个伤害了你我的男人还存在!他是谁”“不许问我!”海丝特·白兰答道，眼睛紧紧地盯着他的脸，“你永远都不会得到答案!”“你说永远不会吗”他接着说，脸上有一种阴郁而又自信的微笑，“永远不会知道他!相信我吧，海丝特，差不多没有东西——不管是在外部世界，还是在秘密的思想领域——可以隐瞒那热切而又执着地从事揭示秘密的人。你能够隐瞒那些热衷道听途说的普通人，或许还可以欺骗那些牧师和长官，就像你今天这样，不让他们从你那里得到那个人的名字，从而在台上给你搭配一个伙伴。而我，会用别人所没有的感官去观察。我会找到这个人，就像我在书本中发现真理和通过炼金术发现黄金一样。一种共感会使我察觉他。我会看见他颤抖。他会突然，身不由己地感觉自己在战栗。他最终逃不出我的掌心!”
这个满脸皱纹的学者用充满力量的眼神逼视她，吓得海丝特·白兰将心口用手捂住，生怕他会发现她心中的秘密。
“你不想告诉我他是谁然而，他最终逃不出我的掌心，”他接着很自信地说，仿佛命运要倒向他似的，“他和你不同，他的衣服没有缝有耻辱的红字，然而，我能看透他的心。但你也没必要为他担心!不要觉得我会干涉上天已经安排好的报应，或是觉得我会暴露他从而让他受到法律的制裁。你不要觉得我会图谋杀害他，也不要以为我会侮辱他的名誉——据我判断，他是一个相当有名望的人。让他活在这个世界上吧!让他在表面荣誉中藏身，只要他可以做到!然而，他始终逃不出我的掌心!，
“你的行动看上去慈悲，”海丝特半迷惑半吃惊地说，“然而你的话表明你是一个罪人!”“你以前是我的妻子，所以我有权告诫你一件事，”这位学者接着说，“你总是为奸夫保密。同样，也应当为我保密。这里没有人认识我。不要向任何人泄露，你曾叫我丈夫!这里，在这地球的辽阔的郊外，我会扎下我的帐篷，因为，在其他地方我是一个流浪者，一个和别人没有利害关系的人，然而在这里，我找到一个女人、一个男人、一个孩子，在他们和我之间有一根纽带维系着。无论这是因为爱还是因为恨，是正确还是错误!海丝特·白兰，你和你所拥有的都是我的。你在哪里，他在哪里，我就在哪里。别告发我!”
“你究竟想得到什么”海丝特问，不知为什么，她为这一秘密的约定感到心寒，“你为什么不当众露面为什么不马上抛弃我”“这大概是，”他回答说，“由于我不愿蒙受一个不坚贞的妻子的丈夫所遭受到的耻辱；或许还有其他的原因。说到底，我是想活着还是想死都别让别人知道。所以，就当你的丈夫已经死了，再也不会有他的任何消息。你无论是在语言还是神态上都不要认我!不要泄露我，尤其是对你所知道的那个男人。如果在这一点你欺骗了我，你一定要当心!他的名誉、他的地位、他的生命，会掌握在我的手里。当心!”“我会像为他保密一样为你保密。”海丝特说。“起誓!”他立刻说。于是她发了誓。
“现在，白兰太太，”老罗杰·齐灵沃斯说，“以后我就这样称呼你，我让你单独一人活着，带着你的婴儿，戴着这个红字!海丝特，你有什么感受判决不是要你睡觉时也戴着这标记吗你不担心做噩梦吗”“你为什么对我这样冷笑”海丝特问，她厌恶他的神情。“你想象那个在森林里胡作非为的黑男人一样来纠缠我吗你打算勾引我来证明我灵魂的毁灭吗“不是你的灵魂，”他又冷笑着说，“不，不是你的!”