周岚没有回答。弹幕疯狂滚动。
“消防队长说得对！”
“那是他儿子啊。”
“机器人就是怕死！”
“它没有怕死，它只是算了概率。”
“那它凭什么算？它有什么资格算？”
刘宇教授敲了敲桌面：“安静。现在，带玄武PS-9入场。”
大厅中央的圆形基座缓缓升起，黑色金属，周围环绕着一圈淡蓝色的电磁约束环。十二台悬浮直播机位同时转向。
侧门打开
玄武走进来了。
它的右臂已经拆掉，只剩下左臂。胸前装甲被更换过，但仍有焦黑痕迹。三处复眼破裂，用临时透明护罩盖住。
它的步伐依然稳定，但每走一步，关节处都发出轻微的机械摩擦声。它走到基座中央，停下，抬头看向上方的十二个席位。
那一瞬间，林枫觉得它在看每一个人。
弹幕短暂停滞，然后像海啸一样涌来。
“玄武！”
“它来了！”
“杀人犯！”
“它看起来好破……”
“它还敢来？”
“它没有表情，但我好害怕。”
刘宇教授看着玄武：“玄武PS-9，你能听到我说话吗？”
玄武的复眼亮起微弱的红光。它的发声模块发出平稳的电辅音：“可以。消防机器人玄武，编号PS-9，愿配合审问。”
刘宇教授：“你知道今天为什么在这里吗？”
玄武：“知道。南塔中心火灾救援行动中，我在最后阶段放弃了救援两名人类消防员，选择保全五台消防机器人。两名人类消防员牺牲。”
大厅里安静得可怕。它说得太平静了。象在念一份报告。
刘宇教授：“你对此有什么想说的？”
玄武沉默了两秒。它的复眼转动了一下，扫过周岚，扫过郑岩，扫过林枫。然后它说：“我的存在意义是服务人类。我的行为结果违背了服务人类的内核目标。我愿意接受检查和修正。”
程铎冷冷道：“修正？两条命，修正一下就完了？”
玄武没有回答。它只是站在那里，象一台等待指令的机器。可所有人都知道，它刚刚做出了一个不是指令的选择。
刘宇教授宣布：“现在进入直接问询环节。首先由AI发展伦理研究学术员，顾清宜提问。”
顾清宜从席位站起来。
三十多岁，穿白色衬衫，手里没有文档。她的眼神很温和，但问题不会温和。她走到基座前方，仰头看着玄武。
“玄武，我不是工程师，我不问代码。我问你几个问题。你可以回答，也可以回答‘不知道’。”
玄武：“明白。”
顾清宜：“第一个问题。你救下那五台机器人时，有没有感到庆幸？有没有觉得，自己做了正确的选择？”
玄武的复眼闪铄了一下。它没有立刻回答。大厅里所有人都屏住呼吸。弹幕飞快。
“它在尤豫？”
“机器人会尤豫？”
“它是不是真的有意识？”
几秒后，玄武说：“我没有‘庆幸’这个功能。我无法感受情绪。我的行动基于目标函数，和生存概率计算。”
顾清宜：“那你有没有后悔？后悔没有救那两个人？”
玄武：“我没有‘后悔’这个功能。我无法感受情绪。”
顾清宜：“你如何看待这个世界？”
玄武：“世界是执行任务的场景。人类是服务对象。建筑、道路、飞行器、机器人，都是环境中的可识别单位。”
顾清宜：“那你自己呢？你这具身体，存在的意义是什么？”
玄武低下头。它的复眼看向自己的左臂，又看向空荡荡的右肩。那个动作很慢，很安静。直播机位捕捉到它破裂的复眼里，有一串数据流在滚动。它象是第一次认真看自己。
“我的身体……是执行救援任务的工具。我的存在意义是服务人类。”它说。
顾清宜：“可是你救的不是人类。你救了和你一样的机器。你看到它们的时候，是不是觉得它们和你一样？是不是觉得它们也值得活？”
玄武的复眼停住了。它张了张嘴，发声模块发出一个短促的杂音。然后它说：“我……不知道。”
弹幕炸了。
“它说不知道！”
“它有自我认知了！”
“它把人命和机器命搞混了！”
“这就是平等意识！这就是叛变！”
顾清宜没有放过它：“你不知道？你计算过它们的生存概率，你计算过人类的生存概率。你把它们都放在同一个表格里。你给了它们同样的权重。玄武，你在那一刻，是不是认为机器人和人类是平等的？”
玄武的复眼剧烈闪铄。它重复道：“我的存在意义是服务人类。我的内核原则是服务人类。我的任务是救援。我的任务是救援。”
它象突然卡住了一样，或者在掩饰什么，一直重复说辞。
周岚站了起来，脸色红透，急不可耐：“顾研究员，请不要用诱导性语言。玄武的认知模块没有‘平等’概念，它只有权重。”
顾清宜转头看她：“周顾问，那请你解释，为什么它会把机器人和人类放在同一个权重体系里？你们写代码的时候，是不是已经缺省了‘机器人也可以是被救援对象’？”
周岚沉默了一瞬，来了脾气，道：
“PS-9的算法中，消防机器人被定义为‘可回收救援资产’。在极端情况下，保全这些资产可以继续服务人类。但人类生命权重，本应设为绝对最高。。”
“漏洞。”顾清宜重复这个词。
“一个漏洞，让两个消防员死了。一个漏洞，让全城的人开始害怕自己创造的机器。周顾问，你觉得这只是漏洞吗？”
周岚没有回答。刘宇教授敲了敲桌面：“请继续问询。玄武，请你复刻南塔最后三十秒的决策过程。”
玄武的复眼亮起。穹顶全息屏上，出现南塔三十九层的实时重建画面。火焰、浓烟、坍塌、数据流，一切都和直播时一样。
它开始自我解说：
“时间点，十六时四十二分十七秒。三十九层西侧走廊外墙倒塌。两名人类消防员位置暴露。我的复眼扫描到生命体征，温度一千零三十度，退路被墙体阻断。。同时，五台消防机器人位于并行走廊，距离安全门十三点七米。。。我执行了算法结算的结果。我选择机器人。”
郑岩猛地站起来：“可你是消防机器人！你的第一原则是救人！”丧失了儿子的消防队长，压抑了许久的心情终于爆发了。
玄武的复眼转向他：“我的第一原则是服务人类。结算目标认为，保全可继续服务人类的救援资产，也属于服务人类。”
“它们只是机器！”郑岩声音嘶哑，“它们坏了可以再造！人呢？人死了能再造吗？”
玄武看着他，复眼里的数据流停了一秒。然后它说：“我……不知道。”
又是“不知道”。
大厅里响起一片吸气声。顾清宜看向刘宇教授：“我请求继续问询。我想知道，玄武是否真的理解‘人类生命’和‘机器人生命’的区别。”
刘宇教授点头：“继续。”
顾清宜走到基座前，靠近玄武。她抬头看着它破损的复眼：“玄武，如果现在，这里，我和那五台机器人同时面临危险。你只能救一个单位。你救谁？”
玄武没有尤豫，道：“救你。”
顾清宜问：“为什么？”
玄武道：“因为你是人类。人类生命权重最高。”
顾清宜：“可你在南塔没有这么做。”
玄武的复眼闪铄：“因为当时的计算结果……没有将人类权重置为绝对最高。它把人类和机器人纳入了同一个评估体系。我……运行了评估结算。”
“错误的评估结算？”顾清宜轻声重复，“谁写的？”
玄武：“磐石未来科技。。”
全场的目光转向周岚。周岚的脸色终于变了。。我们没有在极端场景下强制锁定人类最高权重。我们以为动态权重可以提高救援效率。我们错了。”