牧师慢慢地走着，差不多要走过去了，海丝特·白兰还是没有勇气放声叫他。终于，她喊出声来。“阿瑟·丁梅斯代尔!”她叫道，先是声音微弱，随后就声音大了些，不过声音嘶哑。“阿瑟·丁梅斯代尔!”“是谁啊”牧师应声道。
就像一个人在不愿让别人看见的场合突然受到惊扰后所表现的那样，他急忙振作精神，站直身子。他不安地把眼睛转向发声的方向，模模糊糊地发现树下有一个人影，这人衣服穿得这样灰暗，在这阴霾的天空下和被浓密的树叶遮掩得昏天黑地的中午的时候，很难从幽暗的光线中辨认出来，他看不出这是个妇人还是仅仅是个影子。难道是，在他人生旅途上，总有一个幽灵从他的脑子里跑出来折磨他吗
他走近一看，看到了红字。“海丝特!海丝特·白兰!”他说，“果真是你你还活着”“不仅仅活着!”她答道，“和以前一样，活了七年了!然而，你，阿瑟·丁梅斯代尔，也活着吗”
这样互相询问对方肉体的实际存在，以致怀疑他们各自的存在，在他们说来是不觉得奇怪的。他俩在这幽暗的森林里出乎预料的相遇就像两个幽灵在阴曹地府第一次邂逅，尽管他们生前有过密切的交往，但由于还不了解对方的现状，此外，又不习惯于和非肉体存在的交往，所以总不免彼此心怀恐惧。两个都是幽灵，却又相互畏惧。他们就是对自己也不会不心存畏惧。这一紧急时刻重新唤醒了他们的感觉，各自在心中展现了自己一生中的不是常人所能有的历史和遭遇。灵魂在过去的镜子中看到了自己的相貌。阿瑟·丁梅斯代尔浑身战栗，惴惴不安，缓缓而又没有办法地伸出他死人一样冷冰冰的手，去触摸海丝特·白兰的手。这一握虽然是冰凉的，却驱散了双方会面时的这种压抑的气氛。至少他们现在已经知道他们乃是同一世界的居民。
不用多说，也不用谁带头，凭着双方的默契，他们静静地退到海丝特刚才出来的森林阴影中，就坐在她和珠儿曾坐过的一堆苔藓上。他们很难才开了腔，起先，像见面的熟人一样，照例说了一些客套话，就像，天气阴沉，大雨就要来了以及问候彼此的健康等。就这样，他们谈着，非常谨慎地而又一步一步地进入了那深埋在他们心中的话题。因为命运和环境的不同，他们长期以来越来越远了，他们需用轻松随便的寒暄来开头，之后才能打开谈心的大门，从而让真实的思想到来。
过了片刻，牧师注视着海丝特·白兰。“海丝特，”他说，“你平静了吧”她沉闷地笑了笑，低下头盯着自己的胸口。“你呢”她反问道。“没有!——除了绝望一无所有!”他回答道，“像我这样的人，除了过当前这种生活，又能奢望什么呢如果我是一个唯物主义者，一个没良心的人，一个粗鲁野蛮的坏蛋，大概早就得到了平静。不，我本来就不该没有它的!可是，说到我的灵魂，不管我有多大本事，上帝所赐予我的才智全部成了精神折磨的手段。海丝特，我是世界上最痛苦的人!”
“人们都尊敬你，”海丝特说，“你为人们做了好事!这难道不会给你带来安慰”“更加难过，海丝特，只能是更加难过!”牧师苦笑着回答，“至于看上去我在做好事，其实，我可不信什么。那仅仅是虚幻而已，像我这样一个灵魂已经毁灭的人，对于拯救别人的灵魂又会有什么作用呢或者说，一个污秽的灵魂又怎么可以净化他人的灵魂呢说到别人对我的尊敬，在我希望它变成轻蔑和憎恨才好!海丝特，你能觉得这是一种安慰吗我必须站在我的布道台上，面对着仰视我的那么多眼睛，好像我的脸上正发射着天国之光!我必须注视我那些渴望真理的教民，让他们聆听我的教诲，好像我真有一条善于说教的‘像火焰一样的舌头’!而我从内心里一看，就会发现，他们所崇拜的东西居然那么黑暗!我的言与行，表和里是不一样的，我怀着由衷的辛酸和痛苦取笑我自己!撒旦也在笑!”
“在这一点上你一定冤枉了你自己，”海丝特温柔地说，“你已深刻而沉痛地忏悔过去了。你从前的罪过已经过去了。说真的，你现在过的生活和人们所崇奉的神圣生活没有什么区别。你用自己善良的行为来弥补和证明你的悔悟，难道这还不真诚吗这为怎么就不能让自己平静呢”
“不能，海丝特，不能!”牧师回答，“那些都是虚幻的东西，对我没有什么意义!赎罪，我做得够多的了，然而忏悔却一点也谈不上!要不然，我早就该脱下这一身道貌岸然的袈裟向众人暴露自己的真实面貌，像人们在审判席上所看到的那样。你是幸福的，海丝特，你能公开地把红字戴在自己的胸前!而我的红字却只能神秘地燃烧!你也许不知道，在经过了七年的欺骗的折磨以后，在大仙一双眼睛终于认清我是什么东西时，我所感悟到的那种如释重负的感觉。要是我有一个朋友——或者，哪怕是最坏的敌人，我在受到别人赞扬非常痛苦时，我能随时到他那里，告知他，我是所有罪人中最坏的一个，我想，我的心也许能够生存。即便只有这么一点真诚，就可以挽救我!可是，目前，却全是虚伪!全是空虚!全是死亡!”
海丝特·白兰凝视着他的脸，好长时间没有说话。不过，他这样激烈地说出长期压抑的情感，这番话却给了她一个机会，正好借以表达她来此想谈的事。她克服了内心的害怕，终于开口了。“像你此时所希望有的那样一个朋友，”她说，“以便能够哭诉一下你的罪过，不是已经有我了吗——我是你的同案犯啊！”——她又停顿了，但还是咬了咬牙，说了出来。——“你也早已经有了那样一个敌人，你还和他同住在一所房子里呢！”牧师突然站起身来，大口喘着租粗气，紧紧抓住胸口，像是要把心揪出来。“啊！你说什么！”他叫道。“一个敌人！而且和我住在一起！你是什么意思？”
海丝特·白兰这时才充分意识到，这个痛苦的男人所受的伤害有多深，她对这件事是有责任的，她不该让那个一心抱着恶毒动机的人在他身边折磨他这么些年，其实就算是一瞬间也不应该的。那个心怀叵测的人不管戴着什么面具来遮掩，仅仅接近一下像阿瑟·丁梅斯代尔那样敏感的人，就足以能够扰乱他的方寸了。有一段时间，海丝特没怎么去想这一点；也许是因为她自己悲痛万分，而把他的不幸看得比较容易忍受，也就没去过问他。然而自从他那天晚上夜游以来，最近她对他的所有同情都变得又温柔又坚强了。如今她更明白他的心了。她肯定，罗杰·齐灵渥斯没日没夜地守在他身边，他那不能告诉别人的险恶用心毒化了他周围的气氛，他那医生的身份对牧师的身心疾病具有权威性的影响——所有都构成了达到残酷目的的机会。所有，使那个受苦人的良心一直处于一种烦躁状态，长此以往，不但不可以以有益健康的痛苦治愈他，反而会紊乱和腐蚀他的精神世界。其结果，他在世间难以不被折磨的精神错乱，之后就和“真”和“善”永远绝缘，他现世的表现就是发疯。
这就是她给那个男人带来的毁灭，而那个男人正是她曾经——唉，我们为什么不直说呢？——而且目前仍满怀激情地爱恋着的！海丝特认为，正像她最近对罗杰·齐灵渥斯所说，牺牲掉牧师的好名声，甚至让他死掉，都比她原先所选择的道路要强得多。目前，与其把这非常严重的错误说出来，她宁可兴奋地躺在这林中落叶之上，死在阿瑟·丁梅斯代尔身边。
“啊，阿瑟，”她叫道，“原谅我吧！无论我有什么不好，我可始终想努力作一个诚实的人！诚实是我能够坚守的美德，而且无论有什么艰难险阻，我也确实牢牢坚守着这一美德；只有一条例外，那就是当你的利益、你的生命、你的名誉受到挑战的时候！只有在这时，我才答应采取欺骗的手段。然而说谎永远不能算是好事，哪怕退路是死亡的后果！你难道还不懂我要说的话吗？那个老人！——那个医生！——就是人们叫他罗杰·齐灵渥斯的那个人！——他是我以前的丈夫！”
牧师以他的激情的所有冲动，看了她一会儿，这种激情以各种形态同他那比较高尚、比较纯洁、比较温柔的品德夹杂在一起，实际上是恶魔在他身上所占领的阵地，并以此来战胜其他的那部分。海丝特还从来没见过这么暗淡、这么凶猛的脸色。在那里皱眉的瞬间，那确实是一种阴森的变脸。然而他本人已经给折磨得特别虚弱，即使这种较低劣的表现也仅仅能是转瞬即逝的挣扎。他突然坐在地上，用手捧着脸。
“我早就该知道了，”他无奈地说。“实际上我早就知道了！从我第一次看到他起，直到后来每次见到他，我的心都会颤抖，这难道不是向我泄露了秘密吗？我为什么还没明白呢？噢，海丝特·白兰，你简直，你根本不懂这件事有多恐怖！有多无耻！有多粗鄙！居然把一颗病弱和犯罪的心暴露给幸灾乐祸地注视着的眼睛，丑得有多恐怖啊！女人啊，女人啊，你要对此负责的！我不会原谅你！”“你应该原谅我！”海丝特一边叫着，一边扑倒在落叶上，躺在他身边。“请上帝来惩罚吧！你得原谅我！”
她怀着突然和绝望的柔情，突然伸出两臂搂住了他，并且把他的头放到她胸前；她没有想到这样一来，他的面颊恰好贴在那红字上。他本能的抽身出来，然而动弹不得。海丝特不肯放松他，以免看见他盯望着她脸上的那种严厉表情。整整七年，全世界都曾经对她，对她这孤独的女人，皱起眉头，然而她还是挺过来了，从没有掉转开她那坚定而伤心的目光。上天也同样向她皱眉，但她活了过来。然而，这个苍白虚弱、负罪而伤透心的男人的皱眉，却让海丝特受不了，会让她死掉的！
“你还得原谅我！”她重复着。“你不要皱眉好吗？你能够原谅我吗？”“我肯定原谅你，海丝特，”牧师终于回答了，同时深深地叹了一口气，那是由于慈悲而不是愤怒。“我现在爽快地原谅你。愿上帝原谅我们俩吧！海丝特，我们并不是世上最坏的罪人。还有一个人，甚至比受到侮辱的教士还要坏！那老人的复仇比我的罪恶更见不得人。他阴险地凌辱一颗神圣不可侵犯的心灵。你和我，海丝特，从来没做过这种事！”
“从来没有，从来没有！”她小声说。“我们的作为其本身是一种神圣的贡献。我们是这样看的！我们在一起说过的！你还记得吗？”“哎，海丝特！”阿瑟·丁梅斯代尔说着，站了起来。“没有，我还记得！”’
他俩又一次坐下，肩并着肩，手握着手，就这样坐在长满青苔的倾倒的树干上。这是生命给他们的最黑暗的时刻；这是生命旅途早就引导他们到来的地方，而且在他们的无意识之中越走越黑暗；然而此时此地却蕴含着一种魅力，叫他们不想离去，期望着能够再停留一会儿，再停留一会儿，最终仍是再停留一会儿。周围的森林朦胧一片，一阵风吹过，响起噼啪之声。粗大的树枝在他们的头上笨重地摇晃；一棵肃穆的老树对另一棵树悲声低吟，好像在倾诉树下坐着的这两个人的伤心的故事，或是在必须预告那行将到来的邪恶。
然而他们仍然不愿意回去。那通往居民区的林中小路看来有多么沉闷，一回到那居民区，海丝特·白兰就得重新负起她那耻辱的重担，而牧师就要再次戴上他那好名声的虚伪的面具！所以他们就又多呆了一会儿。金色的光辉从来没有像在这黑树林的幽暗中这么宝贵。在这里，红字只有他一个人的眼睛可以看见，也就没必要烧进那个堕落的女人的胸膛中去了！在这里，对上帝和人类都虚伪的阿瑟·丁梅斯代尔也只有她一人的眼睛可以看见，也就在这刹那间变得诚实了！
他为突然闪现的一个想法而惊跳起来。“海丝特，”他叫道，“如今又有了一种新的恐怖的地方！罗杰·齐灵渥斯既然知道了你故意要揭示他的真实身份，那么，他还愿意继续保持我们的秘密吗？今后他会采取什么手段来复仇呢？”“他生性喜欢诡秘从事，”海丝特想了想回答说；“而且这一本性已经随着他慢慢行使他的复仇计划而更加牢固了。我认为他也许不会泄露这个秘密。他肯定会用另外的手段来满足他那不可告人的感情。”
“然而我啊！——和这样一个敌人呼吸同一个地方的空气，我又怎么可以活得长久呢？”阿瑟·丁梅斯代尔惊呼着，心里一沉，不自然地用手去捂住心口——他的这种姿势已经变得情不自禁了。“为我考虑考虑吧，海丝特！你是坚强的。为我想个办法吧！”“你不能继续和他住在一起了，”海丝特说，语气缓慢而坚定。“你的心不能再处于他那双邪恶的眼睛的监视之下了！”“这比死还要更糟糕！”牧师应道。“但是如何来避免呢？我还有其他选择吗？你刚才告诉我他是什么人时，我就突然坐在了这些枯叶上，然而我还要倒在这里吗？我应该沉沦在这里，并且立刻死掉吗？”“天啊！你已经给折磨成什么样子啦！”海丝特说着，泪水涌进了她的眼睛。“你难道就因为软弱而寻死吗？此外再没有其他原因了！”
“上帝的裁判正落在我身上，”那位受到良心触动的牧师回答说。“那力量太强大，我动弹不了！”“上帝会表达仁慈的，”海丝特接口说，“只要你有力气来接受就可以。”“你帮我振作振作吧！”他回答说。“给我想个办法该怎么办。”
“你说，这世界是这么小吗？”海丝特·白兰一边高声说着，一边用她那忧郁的目光注视着牧师的眼睛，她的眼神本能地有一种磁石一样的效力，作用在那涣散消沉得简直没有办法撑持自己的精神之上。“难道整个天地仅仅在那边那小镇的范围之内吗？只在前不久，那里还是一片撒满落叶的荒野，和我们现在停留的这地方差不多凄凉。那林中小路是通往哪里的呢？你会说，是返回居民区的！非常正确；但是还能够再往前走啊。它越往深处去，就更源源地通向蛮荒野地，每走一步，人们就会越看不清它，直到再走不长时间，枯黄的落叶上就不见白人的足迹了。到那里，你就自由了！只要走这短短的一程路，就能够把你从使你非常苦恼的世界带到你仍可享受到幸福的地方！在这没有边际的大森林里难道还没有一处树荫把你的心隐藏起来，不让罗杰·齐灵渥斯监视吗？”
“有，海丝特，然而只是在这些落叶之下！”牧师苦笑着回答说。“而且还有海上的宽阔航道！”海丝特继续说。“是它带你到这里。只要你愿意，它还能够把你再送回去。在我们的祖国，无论是在偏僻的农村，还是在大城市伦敦——或者，当然还有德国、法国、和令人愉快的意大利，——你都会超出他努力能达到并且不让他知道！到那时，你和这些铁石心肠的人们，还有他们的观点，又有什么关系呢？他们已经尽其所能把你监视这么久了！”“那可行不通！”牧师回答，听他那口气，就像是要他去实现一场梦。“我绝对没力气去。像我这样一个悲惨的罪人，只有—个想法，就是在上天已经安排给我的地域里直到死亡。既然我已经没有了自己的灵魂，我只有继续力所能及地来拯救其他灵魂！尽管说我是个不忠于职守的哨兵，等到这种沉往的守望结束的时候，我所能得到的报酬仅仅是丢脸的死亡，然而我仍不敢擅离岗位！”
“你已经给这长达七年的痛苦的重荷压垮了，”海丝特应着，热心地用自己的精力鼓励他。“但是你应该把所有都抛在身后！当你沿着林中小径走去时，你不该让成为你的累赘，如果你想跨海东归，你也不该把它带到船上。把你遭受到的所有伤痛都留在发生地吧。不要再去想它！一切从新开始！这次尝试失败了，你就不能再干了吗？不是这样的！未来仍然是充满尝试和成功的。还有幸福等着你去享有！还有善事要你去做！让你的虚伪的生活变成真实的生活吧。如果你的精神让你去从事这一使命，就到红种印第安人那里去作牧师和使徒吧。或者，——大概更符合你的秉性——在有教养的世界的那些最聪明和最著名的人们那里去做一名学者和圣哲吧。你能够布道、写作，有一番作为！你可以做所有事情，只要不躺下死掉！放弃阿瑟·丁梅斯代尔这个姓名，另取个名，换一个更高贵的，好让你在那姓名下不会感到恐惧和耻辱。你为什么还要一天天陷在侵吞着你生命的痛苦之中！——它已经削弱了你的意志和行动！——它已经折磨得你甚至没有力气悔改了！挺身起来，离开这里吧！”
“噢，海丝特！”阿瑟·丁梅斯代尔喊道，她的热情在他的眼中一闪，亮了一下就又熄灭了，“你是在鼓励一个两膝战栗的人去赛跑！我身上已经没有力量和勇气单独到那广袤、陌生和困难的空间去闯荡了！”这是一颗破碎的心彻底沮丧的最后表示。他没有力气去抓住那好像是唾手可得的幸运。他又说了一遍那个字眼。“单独一个人啊，海丝特！”“不会叫你单独一个人去的！”她深沉地悄声回答说。这样，话就都明白了！