海丝特·白兰还没来得及理清她的思路，考虑用什么措施来处理这刚刚出现的惊人局面，已经从附近的街道上传来了越来越近的军乐声。这表示官民们的youxing队伍正在向议事厅前进；按照早已确立并始终遵照执行的规矩，丁梅斯代尔牧师先生会在那里开展庆祝选举的布道。
不久就能够发现youxing队伍的排头，缓慢而庄严地向前走，转过街角，向市场走来。走在最前面的军乐队，由各种的乐器组成，或许相互之间不很和谐，而且演奏技巧也不纯熟；可是那军鼓和铜号的合奏对于百姓来说，却达到了要在他们眼前经历的人生景象上增添更加崇高和英雄的氛围这一伟大目标。小珠儿开始拍着手掌，然而后来却突然没有了整个上午她一直处于的那种兴奋不安的情绪；她默默地注视着，好像一只盘旋的海鸟在汹涌澎湃的波涛中扶摇直上。然而在乐队之后接着到来、充当队伍光荣的前卫的军人们，他们那在阳光下闪闪发光的明亮的甲胄和武器，又让她回到了原来的心情之中。这个士兵方队，里面没有一个是雇佣兵，所以仍然保持着一个整体面存在，他们从拥有古老而光荣的声名的过去的岁月中踏着整齐的步伐而来。
队列中有不少绅士，他们感悟到尚武精神的冲动，企图建立一种军事学院，为了在那里像在“圣堂骑士”那种社团一样，学习军事科学，至少可以在和平时期学会演习战争。这支队伍中每个人都趾高气扬，从中可以发现当年对军人是多么尊崇。其中有些人也确实因为在低地国家服役和在别的战场上作战，而赢得了军人的头衔和高傲。更不用说，他们身上裹着甑亮的铠甲，耀眼的钢盔上还闪动着羽毛，那种辉煌的气势，并不是如今的阅兵所能相比的。
然而，对于有思想的观察者而言，更值得注目的是紧随护卫队到来的文职官员。虽然光从外表来看，他们也令那些武夫不是显得怪诞，就是显得粗俗。那个时代，我们所谓的天才尽管不像今日这样受到重视，但坚定和庄重的人格所赖以产生的种种素质却被人们多敬仰。因为世袭权利，这些人享受着人们的尊重，而此种尊重在他们今日的子孙身上，如果不是被剥夺得精光，也是没剩下什么，在公职人员的评选中已越来越无效了。这种变化也好也不好好，或许是好坏各占一半。在古代，迁徙到这荒芜海滨的英国移民，尽管早已将王公贵族和形形色色的地位很高的人摒弃的一干二净，但他们在骨子里依然强烈地存有崇奉尊严的本能和需要，并把这显现在年迈的白发和苍老的眉额上；显现在久经考验的正直上；显现在坚定的智慧和悲惨的经历上；显现在那使他们能够不朽的庄严伟大的才干上。因此，那些开始受人们拥戴而掌握大权的早期的政治家们，像布雷兹特里特、恩迪科特、达德利、贝灵汉和他的同辈人，看上去并不都是很有才华的人，他们凭借的是深沉稳重的性格而不是过人的智慧。他们坚定、自信，一旦遇到困难或危险，为着国家的安全，他们就挺身而出，像峭壁一样拦住怒潮的侵蚀。上述性格特点全部反映在新殖民地官员的方方正正的脸上和粗壮的体魄上。就他们天生的权威举止来说，可以一点也不羞愧地作为实行民主的先驱人物升入贵族院和枢密院。
紧随官员队伍到来的是那个非常有名气的青年牧师，人们正期待着从他嘴里听到宗教演说。当时，从事这一职业比置身政界更能展示他的智慧；因为——姑且抛开崇高的动机不谈——仅从这职业在居民中所引起的近于崇拜这一点来说，它就具有很强的诱惑力，足以吸引有抱负者投身其中。甚至连政权都会落入成功的牧师的控制之中，英克利斯·马瑟即是其例。
这时，那些围观丁梅斯代尔先生的人们看到，自他踏上新英格兰海岸以来，从来没有见过像现在跟随队伍前进这样精神焕发。他的步履不像平时那样有气无力；他腰板挺直；他的手也不再不祥地拢在心口。然而，如果正确观察的话，会看到，他的气力不是他的身体所固有的，它是精神给他的，而且是天使给予的宗教馈赠。这大概是一种强烈的兴奋剂在有效，而这种兴奋剂就是从诚挚而坚忍不拔的思想熔炉中蒸馏出来的。否则，也许是他敏感的气质被那向天空升腾的尖锐刺耳的音乐鼓舞，高高地腾飞在声浪之上。然而他的神情显得这样心猿意马，人们禁不住怀疑丁梅斯代尔先生到底是否听到这种音乐。他的身体靠一种不正常的力量向前移动。然而，他的心灵在哪里呢可能是深锁在他的自己的领域，急忙借助一种超自然活动酝酿那即将从他口中源源道出的所有庄严的思想；只有这样，他对周围的一切才会充耳不闻，视而不见，浑然不觉。然而，这种精神因素提携着孱弱的躯体用力地向前，不但不感到是一种重负，还使它同化为精神。智力超群而又病魔缠身的人，会由于巨大的努力而拥有一种把许多天凝聚为一时的偶然的力量，而今后这几天就不再有力量了。
海丝特·白兰目不转睛地看着牧师，感到一种阴郁的势力围绕着她，这种势力成因在哪里，来自什么地方她不知道；只知道它离她自己的天地是这样遥远，是她完全不能乞求的。她曾想象他俩之间必然得交换一次彼此心照不宣的眼色。她想到了昏暗的森林、寂寞的山中幽谷、爱情、苦恼、长满青苔的树干，在那儿他们携手坐在一起，让他们的悲哀和深情的谈话和小溪忧伤的絮语交融在一起。当时他们真可以称得上是心心相印!眼前这人就是他吗她差不多认不出他了!他好像被嘹亮的音乐包围着，跟着非常有声望的父老一起，昂首阔步地走着；他在现实世界中所处的地位是那么高不可攀，而此刻他又浸在一种很难捉摸的遐思远想之中就更令人难以追到了!当她一想到所有这些想必只是一场幻梦，她的精神就消沉下来；虽然她这场梦做得这样真切，但牧师和她自己之间毕竟不可能有什么真实的联系。由于海丝特身上存有太多的女性气质，尤其是眼下命运的沉重脚步又在逐渐向她逼近，她不能原谅牧师居然这样利索地从他俩的共同世界中离开，却让她在黑暗中探索，伸出冰冷的双手也发现不了他。
珠儿或者是已经看出和感觉到了她母亲的感情，或者是她已经感受到那笼罩在牧师周围的那种冷漠和神秘的气氛。当youxing队伍经过时，这孩子心不在焉，就像一个振翅欲飞的鸟儿持续地跳上跳下。全部队伍通过后，她抬头看着母亲的脸。
“妈妈，”她说，“那人就是在小河旁吻我的牧师吗”“别说话，亲爱的小珠儿!”母亲小声地说，“我们不能在市场上谈我们在森林里发生的事情。”“我绝对不相信那个人就是他；他看上去很奇怪。”孩子继续说道，“不然我早就跑到他跟前，在众目睽睽之下，让他吻我的手了，就像他在那边黑暗的老树下吻我一样。妈妈，牧师会说什么呢他会瞪着眼睛，让我走开吗”“他会说什么呢珠儿，”海丝特回答说，“他只可以说，现在不是吻你的时候，更何况在市场上怎么可以吻你呢傻孩子，好在你没对他说!”
还有一个人对丁梅斯代尔表达了同样的感觉，这个人古怪——或者我们应说他精神错乱——干出镇上几乎没有人敢做的事：竟然在众目睽睽之下和红字佩带者聊天。这个人就是希宾斯太太。她围着三层皱领，套上绣花胸衣，穿着华丽的绒袍，手里拄着杆金头拐杖，浓妆艳抹地站在看youxing的队伍之中。在当年巫术盛行之时，她作为主角人物而非常出名（后来终因此送了命），人们避让她，就怕碰到她的衣袍，好像那华丽的褶裥中藏着瘟疫一样。看到她和海丝特·白兰——尽管眼下人们已开始对后者怀有好意一一站在一起，人们对她的恐惧马上翻了一倍，这两个妇女在市场上站着的那块地方人们来了个大撤退。
“你看，普通的人谁会想到这一点!”老妇人对海丝特小声说道，显出一副关系很好的样子。“那里那个神圣的人，人们都叫他圣徒，很正确，连我也得说他确实像!这时，看到他从队伍中走过去的人，谁又想得到前不久他刚从书斋里走出——我可以说，他这时嘴里还唠叨着希伯来文的《圣经》——就到森林中去散步呢!啊哈，海丝特·白兰，我们可知道那是什么意思!然而，说实话，我简直不信他就是那个人。我发现的在乐队后面youxing的许多教友，就曾和我踩着同一拍子跳过舞，当时，某人还是小提琴手，也许印第安人的祭师或拉普兰人的魔术师也和我们握过手呢。对于一个清楚世界的女人来说，这仅仅是小事一桩。至于说到这个牧师，你可以肯定他就是你在森林小路上所见到的那个人吗”
“太太，我不明白你说的是什么”海丝特·白兰回答说，她看到希宾斯夫人脑子出了问题；然而，听到希宾斯夫人这样确信地断言这么多的人（包括她自己）竟然全部和那个恶魔有私人关系，不禁吃惊害怕起来。“我可不能任意议论这个崇奉《圣经》的虔诚爱学习的丁梅斯代尔先生!”
“呸，女人，呸!”老妇人喊道，一面向海丝特晃晃她的手指。“你觉得我去过那树林子这么多次，竟还没能力判断谁去过那里我当然有，即使他们跳舞时戴的野花环没在他们头上留下一片叶子，我还是可以认出你，海丝特，因为我认识那个标记。在众目睽睽下，我们都能够看见它；而在黑暗中它像红色火焰一样闪着光。你公开戴着它，识别你当然没有问题。至于提及这个牧师!让我告诉你!当那个‘黑男人’发现自己的一个仆人在签字盖章后而又像丁梅斯代尔先生那样羞愧于承认契约时，他就想出办法使那标记在众目睽睽之下暴露在世人面前!牧师总是用手捂住心口，他试图掩藏什么呢哈，海丝特·白兰!”
“究竟是什么东西，希宾斯夫人!”小珠儿问，“你的确见过吗”“不要去管它，亲爱的!”希宾斯夫人恭恭敬敬地对珠儿说。“你自己早晚会看到的。孩子，他们说你是‘空中王子’的血统!你可愿意和我一起拣个美好的夜晚腾云驾雾去看看你的父亲那时你就会明白牧师为什么老是用手捂住心口!”
这鬼老太婆狂笑，全市场的人都可以听见，接着就走开了。此时，会议厅里会前祈祷已经做完，可以听到狄梅·断迪尔先生开始布道的声音。一种不可抗拒的声音迫使海丝特向这个地方靠拢。因为这神圣的大厅已挤满了人，再也挤不进一个，她只好挨着刑台找了个地方。这地方能够听到全部布道，尽管并不清晰，它把丁梅斯代尔的及其特别的声音转变为喃喃细语。
这个发音器官本身就是一个丰润的本能；对一个听讲人而言，即便完全不明白布道者所说的内容，也会因他的抑扬顿挫的声音而有所感触。这声音就像别的音乐一样传达感情的热烈和哀怨和心绪的高昂或温柔，不管你接受的是什么教育，它都可以打动你的心。这声音虽然因受教堂墙壁的阻拦而变得低沉，然而海丝特·白兰听得很认真，听得激动，产生了一种撬动灵魂的共鸣，她从很难分辨的语言中把握住整个布道的精神。这些话想听得明白些，大概只能借助粗俗的媒介，否则将不容易表达它的精神含义。此刻，她首先听到的是低调，就像大风转趋平息一样；随后，又伴随它的甜美和魅力而升腾，直到彻底沉浸在它的音量所散发的敬畏庄严的氛围之中。牧师的声音尽管时而显得非常威严，却一直保持着一种如泣如诉的基调。这种由受难者发出的或高或低的痛苦的表述，不管是悄然细语，还是尖声喊叫，都在震撼着每个人的心!而在凄凉的沉默中，人们不时可以听到和隐约能听到的却是一种悲怆的深沉旋律。然而，即使牧师喊破嗓门，声音非常高，以至响彻教堂，破壁而出，传到窗外，听讲人只要细心聆听，仍然能够辨识出同一个痛苦的呐喊。那是什么东西呢它是一颗装满哀愁大概是装满罪过的心在向人类的伟大胸怀说出它的秘密、它的罪过和哀愁；它时刻都在祈求人们的同情和宽恕，而且总能像他希望的那样!正是这深沉不断的低音赋予牧师一种最好的力量。
在这期间，海丝特始终像雕像似的僵立在刑台脚下。如果说，不是牧师的声音让她留在这里，则可能是这块记录她耻辱生活起点的地方对她有一种无法摆脱的魔力。她的内心有一种感觉——这感觉虽然还形不成思想，却沉重地压着她的心脏，她的全部生活轨道，不管是过去还是未来都和这块地方联系在一起，她的全部生活就是由此开始的。
同时，小珠儿已经离开她母亲，在市场上任意地玩耍起来。她凭借自己的飘忽不定、闪烁迷离的色彩取悦阴郁的人群，就像一只羽毛华丽的小鸟在迷茫的树林中跳上跳下，忽隐忽现而辉映其间一样。她活蹦乱跳，不时做出突然的和出人意料的动作。今天她使劲地用脚尖跳舞，这表明她的精神处于一种烦躁的状态，可能是受了母亲不安情绪的感染和影响。只要她发现任何能够激起她那永远活跃的好奇心的事物，就飞奔上前，只要自己喜欢，无论是人是物都当做自己的财产一样攫为己有，从不肯对自己的行动有一点点的约束。那些清教徒们看到从她这小人儿身上所显示的很难形容的妩媚和古怪，和伴随着动作而来的流光溢彩，在微笑之余，总喜欢指出她是恶魔的后裔。她边跑边注视着一个野蛮的印第安人的脸，这人马上意识到一个比他更野的人性。接着，她以天才的勇气和她特有的沉默飞奔到水手人群之中：他们是海上的面容黝黑的男子汉，就像陆上的印第安人一样。他们惊奇而羡慕地看着珠儿，好像她是由海水做成的小姑娘，具有火的灵魂，夜晚在船头下闪闪发光。
这些水手中有一个就是和海丝特·白兰谈过话的船长，他被珠儿的容貌所打动，他试图抓住她，给她一个吻。然而他发现要想抓住她，就像从空中抓住一只蜂雀一样不可能，就从帽子里取下一条金链丢给这孩子。珠儿马上巧妙地接过来缠在颈脖和腰上，变成她的一部分，使人难以想象她怎么可以没有它。
“你妈妈就是远处那个戴红字的女人吗”这个水手问，“你愿意帮我给她带个口信吗”“如果这个口信让我兴奋的话，我愿意。”珠儿回答说。“那就告诉她，”他接着说，“我和那个黑脸驼背老医生谈过了，他愿意带他的朋友，也就是你妈妈熟悉的那位先生，和他一起上船。除了你妈妈和你，她不必再为其他人操心了。就这样转告她，你这个小妖精!”“希宾斯夫人说我爸爸是空中王子!”珠儿喊道，顽皮地笑了笑，“要是你给我起绰号，我要向他告发你，他就要用暴风雨掀翻你的船!”
孩子沿着弯曲的路线穿过市场，回到了母亲的身旁，把船长的话告诉了她。这时，就在一条逃离伤痛的迷宫的通行路向牧师和她自己打开时，一张冷漠的笑脸突然挡在道上。海丝特在看到这不可避免的阴森恐怖的命运以后，她的坚强、沉着、不屈不挠的精神最终垮了下来。
船长的这一通知把她投入了恐怖的困惑之中，折磨得她心很乱，可这时她还要面对另一个考验。市场上有大量从附近乡下来的人，他们时常听人涉及红字，而且因为数以百计的虚构和夸张的谣传，红字对他们已经非常害怕，但他们谁也没有亲眼见过。这伙人在看腻了各种开心事之后，此时已毫无礼貌地围在海丝特·白兰的身边。可是，他们虽然毫无顾忌地挤过来，却只停在数步以外的圈子。他们就这样站在那个距离的地方，被那神秘的符号所激起的反感离心力吸引了。那帮水手们也注意到了人群挤到这里，并且弄明白了红字的含义，就也凑近来，把让太阳晒得黑黑的逃命的人的脸伸进了圈子。连那些印第安人也受到了白人的好奇心的默默的影响，也眯起他们那蛇一样的黑眼睛，把目光穿过人群，斜射着海丝特的胸前；他们大概以为佩戴这个光彩动人的丝绣徽记的人一定是她那一伙人中德高望重的人士。最后，镇上的居民们（他们自己对这个老的题目的兴趣，因为看到了别人的反应，也没有精神地恢复了）也缓慢地挪到这一角落，用他们那冰冷而习惯的目光盯着海丝特·白兰的熟悉的耻辱标记，这大概比别人对她折磨更厉害。
海丝特看见并认出了七年前期待她走出狱门的那伙人的同一副女监督式的脸；其中仅仅缺少一人，就是她们当中最年轻又是唯一一个有同情心的姑娘，海丝特后来给她做了葬服。就在她就要甩掉那灼人的字母之前的最后时刻，它竟然莫名其妙地成为更令人瞩目和激动的中心，所以也使她自从第一天佩戴它以来，此时最为伤痛地感到它在烫烧着她的胸膜。
就在海丝特站在那耻辱的魔圈中，好像被对她作出的狡诈而残忍的判决始终钉住了的时候，那位让人赞美的牧师正在从那神圣的祭坛上低头他的听众，他们最内在的精神已经彻底被他攫住了。那位教堂中可敬的牧师！那位市场中佩戴红字的女人！谁可以居然大不敬猜想出，他俩身上会有着一样的灼热的耻辱标记呢！