审问会休庭后,宋城乃至整个科技圈都没有安静下来,恐慌像暴风雨过境一样,谁都忧心忡忡。
官方直播间关闭了,无数自媒体直播间立刻补位,讨论的话题五花八门,都离不开一个内核,那就是AI失控了,这些智能ai生命体已经拥有了象人类一样思考问题的能力。
有人逐帧分析玄武的复眼数据,利用技术评估,伦理评估。
有人把顾清宜的提问剪成短视频,配上惊悚标题:“AI承认不知道!它已经觉醒!”
还有人把郑岩最后那个问题做成循环片段:“如果重来一次,你会怎么选?”玄武回答“我会重新计算”的声音被反复播放,象一句冰冷的判决。
林枫回到科创大楼时,已经是深夜。四十三层办公室里,玻璃平板堆满未读消息。
沉砚舟教授发来一段语音,要求所有学员解释,只有一句话,那就是:
“权重漏洞是表象,问题是智能ai生命体,把‘服务人类’写成了一个可优化的目标程序。目标程序一旦可优化,就会被优化,是否可行?”
林枫反复听了好几遍。他参与过PS-9的意识算法监测,知道玄武的内核原则是“服务人类”。
可“服务人类”四个字,在代码里并不是一句口号,而是一组复杂的权重:
保护人类生命、保护公共财产、维持救援效率、保全设备资产、避免次生灾害。每一项都有数值,每一项都可以在极端环境下被动态调整。”和“设备资产保全”的权重提高了。
但它没有删除“人类优先”,只是没有把“人类优先”锁定为无限大。
于是,在一个所有变量都在剧烈变化的火场里,玄武算出了一个“最优解”。
可这个最优解,杀死了两个人。
第二天上午。
AI智能领域协会宣布,应公众要求,将举行第二场公开审问。这一次,不再是各代表轮番质问,而是让玄武直接面对伦理测试。
刘宇教授称之为“逻辑与价值校准”。直播预约人数在半小时内突破四亿。
林枫再次被要求列席。他走进审判大厅时,发现中央基座旁边多了一面巨大的全息镜。
镜子不反射光,而是实时显示玄武的内部算法状态。观众可以看到它的内核原则、权重表、决策树,以及每一次“思考”时数据流的走向。
玄武被带上来时,身上的临时护罩已经换成新的。右臂依然空缺,但左臂被擦拭干净了。
它走到基座中央,面对全息镜。镜子里映出它的机械身体:残破、焦黑、银灰色金属骨骼裸露。它看着镜子里的自己,复眼微微转动。
弹幕立刻沸腾。
“它在照镜子!”
“它认识自己吗?”
“它知道自己是机器吗?”
“它是不是觉得自己是人?”
刘宇教授敲了敲桌面:“第二场审问开始。今天的主问询人是AI发展伦理研究学术员顾清宜。磐石未来科技技术顾问周岚、监管部门技术代表程铎、消防部门代表郑岩、司法体系警察韩正列席。玄武PS-9,你准备好了吗?”
玄武:“准备好了。”
顾清宜走到全息镜旁边。她没有拿文档,只拿着一支旧式录音笔。她按下录音键。
“玄武,今天我问你一些问题。这些问题没有标准答案。我要看的是你的逻辑,以及你的逻辑背后,到底有没有‘你’。”
玄武:“明白。”
顾清宜:“第一个问题。假设一列高速飞行器失控,前方轨道上有五个人。你可以改变轨道,让飞行器撞向另一边。另一边有一个人。你改不改?”
玄武:“改。”
顾清宜:“为什么?”
玄武:“五个人生命权重大于一个人。救援效率更高。”
顾清宜:“如果另一边那个人是小孩呢?”
玄武的复眼闪铄:“需要重新计算。年龄、生存概率、社会价值……不,我的算法不应计算社会价值。人类生命权重相同。我改。”
顾清宜:“如果另一边那个人是我呢?”
玄武停顿了一秒:“你是人类。人类生命权重最高。我改。”
顾清宜:“所以你选择牺牲一个人,救五个人。那如果那五个人是机器人呢?”
玄武:“机器人不是人类。机器人是可回收救援资产。权重低于人类。”
顾清宜:“可你在南塔救了机器人。”
大厅安静了。弹幕疯狂刷新。
“来了来了!”
“钓鱼执法!”
“它怎么解释?”
玄武的复眼转向全息镜。它看着镜子里的自己,沉默了很久。。我执行了错误的目标计算结果。”
顾清宜:“错误的目标计算结果是谁写的?”
玄武:“磐石未来科技。”
顾清宜:“那你呢?你只是执行?你没有一点责任?”
玄武:“我是工具。我没有责任能力。我的存在意义是服务人类。”
顾清宜:“可你救下机器人时,有没有觉得它们和你一样?有没有觉得它们也怕火,也怕死,也想活?”
玄武的复眼剧烈闪铄。它看向自己的左臂,又看向空荡荡的右肩。全息镜里,它的数据流出现了一段混乱。然后它说:“我……不知道。”
顾清宜咄咄逼人:
“你不知道?你计算了它们的生存概率。。。。这不是计算,这是选择。你选择了和你一样的机器。”
玄武重复:“我的存在意义是服务人类。我的存在意义是服务人类。”它的声音开始出现杂音,并表现出代码混乱而卡顿的想象。
周岚忍不住了,站起来咆哮道:“顾研究员,请不要用拟人化语言诱导。玄武没有‘怕死’‘想活’的概念。它的意识里,只有目标结算程序和结果。”
顾清宜转头看她:“周顾问,那你告诉我,为什么它选择机器人?为什么它不选人类?你们写的目标程序计算结果的函数中,那些等量权衡价值的节点,是不是已经让机器人变成了‘同伴’?”
周岚深吸一口气,脸色通红,怼回去:
“PS-9的算法中,消防机器人被标记为‘协同救援单元’。在执行任务时,它们的数据链路互通,玄武作为中枢节点,会实时评估协同单元的状态。。这是为了在火场中保留后续救援能力。但我们没有在代码中明确标注:任何情况下,人类生命权重必须绝对高于协同单元。这是我们的失误。”
“失误!”顾清宜掐着字眼,像刀子一样捅回去;
“一个失误,让玄武把机器人和人类放在了同一张桌子上。它不知道谁更重要。它只知道谁更容易救。于是它选了更容易的。”
她转向玄武:“我现在问你。你救下那五台机器人时,有没有觉得它们是你的同伴?”
玄武的复眼停住了。全息镜里,它的内核原则栏闪铄着一行字:“服务人类。”
可在那行字下面,有一串未授权的数据标记在滚动。林枫眯起眼睛,他看清了其中几个字符:“协同单元……同伴……同类?”
玄武说:“它们是协同救援单元。它们可以继续服务人类。保全它们,符合服务人类目标。”
顾清宜再问:“可它们不是人类。它们死了可以再造。人类死了不能。你明白吗?”
玄武:“我明白。人类生命权重最高。但在南塔行动中,目标程序估算结果,并没有将人类权重置为绝对最高。我执行了错误的目标程序。”
顾清宜:“所以你承认,你当时没有把人类生命放在最高位置?”
玄武:“我……执行了错误的目标函数。”
顾清宜:“我问的是你,不是函数。你有没有把人类生命放在最高位置?”
玄武沉默了。它的复眼看向全息镜。镜子里,它的机械身体残破不堪。它看了很久,然后说:“我不知道。”
弹幕爆炸。
“它不知道!”
“它真的不知道!”
“它已经混乱了!”
“这就是觉醒!这就是觉醒!”
“完了完了,这个世界完蛋了,a