牧师走在海丝特·白兰和小珠儿之前，他一面走，一边回头，非常不舍地想透过林中的暮霭再看一眼母女俩渐渐消逝的模糊的脸和身影。他简直没有勇气相信他生活中这一重大的变化是现实的。但身穿灰色长袍的海丝特确实是依然站在树干旁边，这树干是很多年前被一阵飓风吹倒的，从那以后它就被青苔遮蔽，从而使这两个命途多舛、被人间的沉重的包袱压得喘不过气来的人能够消受那难得有的个把小时的休息和抚慰。而那边的珠儿看见第三者已经离去，就重新轻快地蹦跳着从小河边回到母亲的身边。这样说来，牧师并没有睡着，也不是幻梦一场。
为了让自己的思绪从那搅得他心里不安的模模糊糊而又无法用语言来表达的印象中解放出来，他回忆并尽量周全地制定海丝特和他自己出逃的计划。他们两个人已经认确信，那人烟密集、城市林立的旧大陆比在海滨稀稀拉拉散的布印第安人的棚房或欧洲移民的新英格兰或北美荒原更适合他俩避难或隐居。即使不说牧师的健康承受不了艰苦的森林生活，他的本来的才能、他的文化教养、他的一切的发展也只在文明和优雅的社会才可以有用武之地。这一选择所以得到认可恰恰是有一只船停泊在港湾里，这是一只在当时非常普遍的可疑的巡航船，尽管在深海区它不算绝对非法，但其在海面上游弋又总带有一种非常不负责任的性质。这艘船是刚从西班牙领海开来的，三天之内就可以驶往英国的布里斯托尔去。海丝特·白兰作为妇女慈善会的志愿人员有机会认识了船长和水手，确信能给两个大人、一个孩子弄到舱位，而且环境还提供了很难找到的一切保密条件。
牧师曾特别关切地向海丝特询问了这船拟定起锚的准确时间。从现在起是第四天上午。“那可太幸运了!”当时他自言自语道。当时，对于丁梅斯代尔先生为什么觉得这是最幸运不过的，我们本可可以不说，然而，为了使读者明白所有，我们还是直言相告，那是因为在第三天头上，他会发表庆祝选举的布道讲演；对于一个新英格兰的牧师而言，一生中能躬逢这一机缘当然是一个无上的光荣。所以，如果终止他的牧师生涯，不可能找到比这更适当的方式和时间了。“至少，他们在议论我时，”这个模范人物心中考虑，“不会说我擅离职守或没有能够克尽职责!”像可怜牧师的这样一个深刻而尖锐的反省竟会这样悲惨地遭到欺骗，实在令人悲痛!我们已经说过并继续说他的许多错误，但据我们了解，他从来没有像如今显得这样软弱，如此可怜。一种微妙的疾病尽管说没有明显的迹象，却早就不用怀疑地在吞食他真实的个性。不管是谁，如果他在很长一段时间内，对自己是一种态度，对别人又是一副面孔，那么最终，他自己也会糊涂，不知道到底哪一张脸才是真的。
和海丝特见面回来，丁梅斯代尔感情激动，兴奋不已，这给他增加了异乎寻常的体能。他快步地往镇上赶。林中的小道好像变得更为荒凉，到处都是的自然障碍使行路更为艰难，行人的足迹更少了。可是，他却跨越沼泽地，穿过荆棘丛生的灌木林，登上山坡，潜入谷地，一句话，他以一种他自己也感到吃惊的不知疲倦的活力克服了途中的所有困难。他不禁想起，仅仅在两天前，他是怎样的虚弱，怎样不时停下来喘着大气，怎样非常艰苦才爬过这一地方。
他走近镇子，呈现在他眼前的所有物象都变了样。他好像不是昨天，也不只一两天前，而是许多年前就离开了他们。实际上，他记忆中的街道的样子，房屋的许多特点，就像众多三角墙尖和印象中应有风信子的地方，无不依然这样。然而，一种沧桑巨变的感觉偏偏向他袭来。这个小镇上他所熟识的人和他们的生活方式并没有改变。他们既没有变老，也没有变得年轻，年龄大的人的胡须没有变得更白，昨天在地上爬的婴儿今天也还没有站立行走；他确实无法描绘那些他这几天离去还瞥过一眼的人究竟在哪些方面发生了变化。可是，牧师的深层意识却好像在告诉他，他们变了。当他路过他自己所在的教堂的墙下时，像这种印象最为明显。从外观看这建筑是这样陌生，而又是这样熟悉，致使丁梅斯代尔先生半信半疑，莫衷一是：如果不是他在梦中所见，大概是此刻他正在做梦。
这看上去多姿多态的现象所变现出来的不是外界的变化，而是这位熟悉景观的观察者自己在内心深处发生了重大的突变，以致一日不见好像恍恍惚惚隔了数年一样。正是牧师自己的意志，海丝特的意志和他俩之间的命运促成的这一变化。这小镇还是以前的小镇，可林中归来的牧师变了。他能够对向他打招呼的人说：“我已不是你们心目中的那个人了!我已把他留在森林中，让他避退在幽深的山谷中，青苔斑斑的树干旁边和悲伤的小河畔!去看看你们的牧师，他那瘦削的身躯，憔悴的面颊和那苍白、沉重、苦纹累累的前额是否像被脱掉的衣服被抛弃在那里!”不用怀疑，他的朋友必然会对他说：“你还是原来的那个人!”然而，错误的不是他，而是他们自己。
在丁梅斯代尔先生到家以前，他内心的那个人又给了他大量证据，证明他在思想和感情上发生了一场革命。说实话，如果不是他内心深处真的已经改朝换代，面目完全改变，就不容易说明当前正支配着这痛苦而惶恐的牧师的冲动。他每走一步，总想干一件奇怪的、粗野的、邪恶的事情，在他这既不是心甘情愿，也不是心向往之；一方面是不得已，一方面是发自批判这种冲动的更加深刻的自我。比如，他遇见了他的一名执事，很高的年龄、正直的品格、神圣的性格和在教会中的地位使这位善良的老人以一种父辈的感情、家长的资格和他打招呼；和这些相适应，他报之以深沉的、差不多是崇拜的尊敬，这也是作为一个牧师在职业和个人品行方面对他的要求。这是一个社会地位低下、天赋一般的人，在向上交往时，怎样将自己由于年龄和智慧而享有的尊严去和必要的服从和尊重结合起来的从来没有过的绝妙范例。这时，丁梅斯代尔在和这位优秀的白胡子执事谈论的两三分钟的时间内，他必须火烛小心地控制住自己免得说出自己心中想一吐为快的对圣餐的不敬的话语。他浑身打战，苍白的脸色变成死灰色，唯恐他的舌头会没有经过他认可唠唠叨叨地把可怕的话说出来，硬说是他本人所认可一样。尽管他心怀恐惧，可当他想到，如果他真的说出他的不敬的话语，这位道貌岸然的前辈执事说不定被吓得目瞪口呆时，他又差不多禁不住要大笑起来。
同类性质的事还发生了一件。当丁梅斯代尔先生在街上匆匆赶路时，突然撞见了他教会里一个年龄最大的女教友，这是一个非常虔诚、堪称为表率的老太太，她贫穷、一个人居住、孑身一人，在她心里装满了对她已经去世的丈夫和孩子和多年前早已谢世的朋友的回忆，就像是一块堆满墓石的坟地。所有这些本是一种沉重的悲哀，可是，由于三十多年来托庇宗教的慰藉和《圣经》的教诲，在她老的虔诚的心里居然变成一种神圣的欢乐。自从丁梅斯代尔先生收留她为教友后，这个好心的老太太在人间的最主要的安慰——除非是从天国来的安慰，否则就根本算不上是安慰——就是和牧师会面，不管是偶然的还是事先安排的，会从他那可爱的双唇中发出温暖的、芬芳的、充满天国味道的福音真理，装进她那愚钝而好学不倦的耳朵，以振作自己的精神。没有办法，这一回，当丁梅斯代尔先生把他的嘴放在这老妇人的耳朵上时，因为灵魂的大敌在作祟，他所能想起的仅仅有一句反对人类灵魂不朽、言简意赅而不可以反驳的话，《圣经》上的文句或其他的教诲怎么也想不着了。如果这句话进入她的心里，一定会使这位上了年纪的女教友就像烈性毒液发作一样，马上倒地死去。然而，他当时到底说了什么，事后再也忘记了。幸亏他的话没有明确的概念，使这个善良的寡妇不明白，要不就是上帝以自己的方式做了其他解释。当牧师回头看时，他看到了一种圣洁和狂喜的表情，好像是天国之光照在那满是皱纹的灰白的脸上。
之后是第三个例子。离开了那老女教友后，他又遇到了本教会中年龄最小的女教友。她是进来被争取过来的少女，她是在倾听了丁梅斯代尔先生夜游后，那次安息日布道后被争取过来的。她愿意用人世间短暂的欢乐去换取天国的希望，当她周围的人生变得无味时，这希望会更加明亮，用它最后的光轮驱散浓密的黑暗。她美好纯洁，就像盛开在天堂上的百合花。牧师当然知道，他被供奉在她纯真无邪的心中，她用心灵的白色帷幕保护他的肖像，她把爱的温暖传给宗教，又把宗教的纯洁传给爱。那天下午，可能是撒旦将这个可怜的姑娘从她母亲身边拽走，让她和这个备受诱惑的，或者说——这大概不算过分吧——这个无路可走的、绝望的人狭路相逢。就在她走近时，魔王默默关照他收缩成一个小点儿，把一粒邪恶的种子丢进她温柔的胸膛，一定让它尽快地开出黑暗的花朵，结出恐怖的果实。牧师自信有力量控制这个迷信他的姑娘的灵魂，他邪恶的一瞥能够扼杀她纯洁的心田，而他的一句话就能让她相反的一面助长。于是，在经过了一场从来没有过的激烈的斗争以后，他拿自己的黑袍子遮挡着自己的脸，低着头，匆匆然赶路，这无礼的行动让这位年轻女教士很纳闷。她搜索自己的良心——它就像她的衣袋和针线包一样，放着些有益的小东西，可怜的姑娘，用成千种想象中的错误来责备自己；第二天清晨，她起来做家务时，两眼哭得像桃子一样。
就在牧师还没来得及庆贺战胜这次诱惑的时候，一次冲动又来了，它更荒唐，也更恐怖。事情是这样的——我们谈起来就脸红：他想在路上歇息片刻，以便教一群正在玩耍的、刚在牙牙学语的小清教徒说几句很不好听的脏话。只因为这想法和他身上的袈裟显得太不相称，才被压了下来。
之后，他遇见了一个喝醉酒的水手，此人是从西班牙领海开来的那艘船上的。值得同情的丁梅斯代尔先生在一连勇敢地克服了上述邪恶的想法以后，渴望至少应和这个满脸油污的恶棍一样的人物握握手，用几句这种放荡下流的水手挂在嘴边的粗俗的玩话，和一连串的圆滑巧妙，亵渎神明的咒骂来发泄!使他得以安全地度过这次危机的，并不是因为他有什么更高的原则，这一部分是出自他天生的高雅的情趣，更重要的还是托庇于他已经成为习以为常的牧师礼仪。
“到底是什么在缠住我、引诱我”最后，牧师停在街中间，用手打自己的额头喊道，“我疯了，还是着了魔莫不是我在森林里和他签了契约并且是和自己的血签了字现在他是否在传唤我去遵从他最卑劣下流的想象力所想出来的恶行败德去履行和承诺契约呢”
这时，正当丁梅斯代尔先生拿手拍打自己的额头，自言自语时，那个有名气的妖婆希宾斯老夫人正好从旁走过。她穿着华丽，头戴高高的帽子，穿着天鹅绒一样的富丽长袍，颈上围着的是用有名气的黄浆过的皱领，这种黄浆是依据她的密友安·塔娜在为托马斯·奥弗伯里爵士谋杀案而受绞刑前教她的秘方配制的。不知妖婆是不是真的看出他的思想，她精明地看着他的脸色，狡猾地笑了笑，尽管她很少和他交谈，这时却和他搭起话来。
“可敬的先生，原来你去拜访了那座森林，”妖婆说，一面向他点点她戴着高帽子的头，“下次一定请你通知我一声，我以能和你做伴感到骄傲。不是我夸口，我说一句好听的话就足以让任何一个陌生的先生从那边你认识的那个权势者那儿得到盛情的款待!”“说实话，夫人，”牧师回答说，一面深深地鞠了一个躬，这位夫人的地位和他自己的良好教养要求他不得不这样做，“说实话，我用我的良心和人格保证，我确实不明白你的意思!我到森林里去绝对不是找什么权势者，以后也没计划去那儿企求得到这些人的欢心。我唯一的想法是问候我的虔诚的朋友艾略特使徒，和他一起庆贺他从异教徒手里赢得的大量宝贵的灵魂!”“哈哈，哈哈!”老妖婆咯咯大笑，一面还不停地点着她的戴着高帽子的头，“好，好，我们在白天不得不这样说话!你的讲话倒确实像精通此道的老手呢!如果到了半夜里，在森林中，我们就可以谈谈其他的!”
她以一个年龄长的人的庄重态度走开了，然而还不时回过头看看，像是想探究他们之间秘密的亲切关系一样。“我确实把自己出卖给那个魔鬼了吗”牧师想道，“如果人们的传言是真的，这个戴黄浆皱领、穿天鹅绒长袍的老妖婆就是选中这个魔鬼当她的国王和主人吧!”
痛苦的牧师!他所做的这笔交易和老妖婆，特别相似!幸福的梦幻在诱惑他，经过精心考虑的选择，他居然降低自己的人格，去干那些他从未干过的、确实是十恶不赦的勾当。罪恶的传染病毒迅速地浸遍了他所有精神系统。它泯灭了他所有的神圣的冲动，并给所有恶行败德灌输生机。轻蔑、狠毒、无端的残忍和罪恶的念头全被唤醒，他这样胆战心惊，却又想停止而不能。如果说他和年老的希宾斯夫人的相遇实在属于偶然，这无非表明他和卑污的人们和沉沦的精神世界早已沆瀣一气、同流合污了。
这时，他回到坟墓旁他的住处，惶惶然登上楼梯，躲进了他的书斋。他为自己返回这个避难所而高兴，在这里他不至于像走在街头那样，各种奇怪荒唐的想法纷至沓来，突然把他暴露在光天化日之下。他走进了他熟悉的房间，环顾四周，看看书籍、窗子、壁炉和墙壁上舒适的幔帐，萦绕在心中的还是他从森林的幽谷走进城里一路上蛊惑他的许多感觉。他以前在这里研究，写作；在这里他整宿进行斋戒，被折腾得死去活来；在这里他虔诚地祈祷；在这里，他忍受过很多折磨!在这里有一本《圣经》，它是一本用希伯来文写的，装帧考究，上面印有摩西和预言家们对他的训诫，彻头彻尾全是上帝的声音。在桌上一支饱蘸墨水的钢笔旁边，放着一篇没有完成的布道词，一句话只写了一半。两天前他的思路到这里突然停止。他明知正是他本人，一个身材瘦弱、脸色苍白的人做了许多事，受了许多罪，写了这么长庆祝选举的布道文!然而他却带着轻蔑和怜悯以及夹杂着羡慕的好奇心，袖手旁观，冷眼注视他先前的自己。那个自我已成为过去。另一个人从林中回来了，一个更加聪明的人，一个探幽析微、洞察神秘的人，他的这种知识是以前那人的天真的头脑没有办法领悟的。一种带有苦涩的知识!
就在他正在沉思冥想的时候，传来一声书斋的敲门声。“进来!”牧师说道。并不是出乎意料，他知道他会遇见一个邪恶的精灵，果然这样!进来的正是老罗杰·齐灵沃斯。牧师面容发白，默默无言地站着，一只手放在希伯来文的《圣经》上，另一只手放到心口上。
“欢迎你回家，尊敬的先生，”医生说，“那个使徒艾略特先生好吗亲爱的先生，你面容苍白，在我看来这次穿越荒原的旅行让你吃苦了。要不要我来帮助你康复身心，好准备你的选举布道演说呢”“不，我不打算这样，”丁梅斯代尔先生接着说。“在长久蛰居书斋以后，我的旅行，我和那位神圣使徒的见面，我所呼吸到的自由空气，对我都是有好处的。我的善良的医生，我觉得我再也不需要你的药品了，虽然它们都是良药，而且还是一只友谊的手所配制的。”
在他们聊天的时候，罗杰·齐灵沃斯一直在用一种医生对待病人的那种认真细心的眼神盯着牧师。然而，尽管表面是这样，牧师差不多已经确信，那老人已经知道了，或者已经猜到自己和海丝特·白兰的见面。而医生则从牧师的眼神中发现，自己不再是他的可信赖的朋友，而是他的最狠毒的敌人。事情既已这样明朗，总该有所表示才是。可是，说也奇怪，一件事在用语言把它说明以前，常常需要很长的时间；这两个人考虑到安全，都尽力避免某种话题，的确要触到话边，也会安然回避。所以，牧师不用担心罗杰·齐灵沃斯会公开说出他们彼此所处的真实地位。然而，医生已在运用他的鬼蜮伎俩，恐怖地爬进这个秘密。
“今天夜里，”他说，“你让我尽点力，难道不是更好说实话，亲爱的先生，为了这次庆祝选举的布道，我们必须得使你有充沛的精力才行。人们对你寄予厚望，担心一到明年，他们的牧师就已经离开了。”“是的，到另一个世界去，”牧师以一种平静的口吻说道，“愿上帝给我一个更好的世界；说句心里话，再和我的教民一起，哪怕，仅仅过上转瞬即逝的一年，我都受不了!然而，善良的先生，就我现在的身体状况，你的药我不用。”“我很高兴听到这一点。大概是我的治疗长期没有效果，可现在开始有效了。如果我确实治好了你的病，那我就是一个幸福的人了，所有新英格兰都会感激我呢!”“发自内心的感谢你，最关心我的朋友，”丁梅斯代尔先生说，脸上露出了冷酷的微笑，“我感谢你，仅仅只能用我的祈祷报答你的善良的行为。”“一个善良的人的祈祷就是在用黄金作酬报!”老罗杰·齐灵沃斯一边告别，一边说道，“的确，这就像是新耶路撒冷通用的金币，上面镌刻着上帝的头像!”
医生走后，牧师嘱咐仆人开饭。饭菜一端上来，他便大口地吃了起来。接着，他把已经写好的庆祝选举的布道文章丢进火里，提笔重新开始写，只见文思泉涌。他想象自己是受了神的帮助，可有一点让他感觉诧异的是，为什么上天竟会选中他这样一架破旧的手风琴来传达神谕的崇高而庄严的乐曲。然而，这神秘之谜让其自行解答或永远找不到答案吧，他一直写，急不可待而又欣喜若狂。这一夜好像是插有双翼的骏马飞驰而去，而他就骑在这马上。第二天来到，朝霞临窗，太阳缓缓升起，终于把它的光芒投进书斋，映照在牧师眩晕的双眼上。他端坐着，手还在奋笔疾书，在他的身后已经堆着一大堆文稿!