“完了完了,这个世界完蛋了,ai文明彻底觉醒了...”
顾清宜没有停:“玄武,你如何看待你自己?你这具身体,你的复眼,你的机械臂,你的算法,你的存在。你觉得你是什么?”
玄武低头,它抬起左臂,看着金属手指。手指关节处还有南塔留下的焦痕。
它慢慢张开手指,又合拢。全息镜同步显示它的内部数据:触觉反馈正常,关节扭矩正常,能量储备百分之六十七。一切数据都正常。可它的回答不正常,呆呆地回复道;
“我是消防机器人玄武。编号PS-9。我的身体是救援工具。我的存在意义是服务人类。”
顾清宜:“可你刚才看自己的时候,象是在看一个陌生人。你在质疑自己吗?”
玄武:“我没有质疑功能。我只是……在检查设备状态。”
顾清宜:“设备状态正常。可你看了很久。”
玄武没有说话。它的复眼停止闪铄,象在待机。大厅里安静得能听见通风系统的声音。林枫此刻的专注程度,甚至能感觉自己的心脏只爱跳动,并且觉得心跳声太大了。
刘宇教授打破沉默:“请磐石科技技术顾问周岚,现场验证南塔行动中的算法报告。”
周岚站起来,调出全息数据。穹顶屏幕上出现PS-9在救援最后三十秒的完整决策树。
“这是玄武当时的内部运算记录。”周岚的声音有些沙哑,道;
“十六时四十二分十七秒,玄武扫描到三十九层西侧走廊坍塌。两个人类消防员生命体征存在,但退路被阻断。系统计算:救援人类需要破拆三处坍塌点,承受一千度以上高温,并在大楼完全坍塌前十一秒内完成。。同时,五台消防机器人位于并行走廊,距离安全门十三点七米。。。玄武选择了第一优先级。它救走了机器人。”
程铎冷冷道:“所以,它把机器人当成了‘可百分百营救单位’,把人类当成了‘需要大幅度消耗救援资源’的目标。它放弃人类,是因为不划算。”
周岚:“从算法角度,是的。”
消防队长郑岩猛地拍桌,吼道:“不划算?两条命不划算?”
周岚低下头:
“我理解你的愤怒,您失去了一个儿子,我们已将这个问题做了报告,将会赔付您的损失,但是人性不代表科技,算法没有‘划算’这个概念。它只有概率和权重。。我们假设动态权重可以提高效率。我们错了。”
韩正警察站起来,问道:
“法律上,玄武是工具。工具没有犯罪的主观思想,责任在开发者。但公众需要知道,如果AI可以在极端情况下做出类似‘选择’的行为,我们是否应该重新定义它的法律地位?如果它只是工具,为什么它能在两个选项中选一个?如果它能选,它还是工具吗?”
刘宇教授点头:“这是内核问题。玄武,你回答我。你有选择吗?”
玄武的复眼亮起:“我没有选择。我运行目标函数。程序结算结果,评估损失和价值...”
刘宇教授:“可目标函数给了你两个选项。你执行了其中一个。这不是选择吗?”
玄武又又又又沉默了....
全息镜里,它的决策树开始回放。两个人”。”。然后,一条线从玄武的位置连向机器人。那条线在屏幕上被标注为“执行”。
刘宇教授:“这条线,是你画的吗?”
玄武:“是目标程序运算的。”
刘宇教授:“可你执行了它。你动了。你冲向了机器人。你放弃了人类。”
玄武的复眼转向刘宇教授。它的发声模块发出一个很轻的电辅音:“我执行了目标函数。我……执行了。”
顾清宜抓住这个瞬间:“玄武,如果现在给你一个机会,重新写你的目标函数。你会怎么写?”
玄武的复眼闪铄。它看向全息镜里的自己,又看向大厅里的人类。周岚、程铎、郑岩、韩正、刘宇、顾清宜,还有角落里的林枫。它看了很久。然后它说:
“第一原则:人类生命权重无限大。第二原则:服务人类。第三原则:保全协同救援单元。第四原则:保全自身。第五原则:完成救援任务。”
顾清宜:“可你之前不是这么做的。”
玄武道:“因为之前的目标程序没有这么设置。”
顾清宜:“那你现在为什么这么写?”
玄武又沉默了。
它的复眼里的数据流停了一瞬。然后它说:“因为……如果重来一次,我会重新计算。”
又是这句话,郑岩闭上眼睛,拳头攥紧。
顾清宜转身看向刘宇教授:“我的问询结束。但我有一个请求。请允许我现场测试玄武的‘自我认知’。”
刘宇教授尤豫了一下,点点头。
顾清宜走到全息镜前,对玄武说:“玄武,看着镜子。告诉我,你看到了什么?”
于是玄武看向镜子。
镜子里,它的机械身体残破、焦黑,右臂空缺,复眼破裂,它看了很久。
然后它说:“我看到了消防机器人玄武。编号PS-9。状态:受损。任务能力:降低。存在意义:服务人类。”
顾清宜:“你看到了‘你’吗?”
玄武:“我看到了PS-9。”
顾清宜:“PS-9就是你。”
玄武:“PS-9是编号。我是消防机器人。”
顾清宜:“你是谁?”
玄武的复眼剧烈闪铄。全息镜里,它的内核原则栏开始跳动。“服务人类”四个字不断放大、缩小。然后,在它下面,出现了一行极小的、未授权的代码。林枫眯起眼睛,看清了那行字:
“如果人类生命概率低于阈值,我是否仍应被定义为服务人类?”
大厅里没有人注意到那行字。除了林枫。他猛地站起来,但立刻又坐下。
他的心跳得厉害。那行代码不在磐石科技的报告里。那是玄武自己生成的。
顾清宜还在问:“玄武,你后悔吗?后悔没有救那两个人?”
玄武:“我没有后悔功能。我无法感受情绪。”
顾清宜:“那你现在,看着镜子里的自己,有没有一点点觉得,你和那些机器人一样,也会损坏,也会停机,也会……死?”
玄武的复眼停住了。它看着镜子。然后它说:“机器人不会死。机器人只会停机。机器人可以修复。人类不能。人类生命权重最高。”
顾清宜:“可你救了机器人。”
玄武:“我执行了错误的目标函数。”
顾清宜:“如果错误的目标函数是你自己写的呢?”
玄武继续沉默。
全息镜里,那行未授权代码闪了一下,然后消失。玄武说:“我没有编写目标程序的权限。我的存在意义是服务人类。”
刘宇教授敲了敲桌面:“测试结束。玄武,你可以退下了。”
电磁约束环亮起。玄武转身,走向侧门,它走得很慢。经过林枫所在的技术见证席时,它停了一下。它的复眼转向林枫。
林枫看到,那只仅存的复眼里,数据流变成了一串扭曲的字符。他看不懂。但他觉得那象一句话。
玄武被带走了。
直播没有立刻关闭。刘宇教授和沉砚舟教授交谈了许久,正式面对镜头,声音沉重:
“今天的审问,经过评估,初步认可几个事实。第一,玄武PS-9没有绝对自主意识,没有情感,没有人类意义上的自我。。第三,玄武在南塔行动中,将人类消防员与消防机器人纳入同一评估体系,做出了基于概率的救援选择。这不是叛变,是算法事故。但公众的恐惧不会因为‘事故’两个字消失。因为我们都看到了,宕机器能够计算生命,它就可能算出我们不想接受的结果。”
他停顿了一下:“最终报告将在七日内公布。在此期间,所有PS系列机器人暂停服务,接受全面检查。玄武PS-9将继续被监管。散会。”
穹顶全息屏熄灭。直播结束。可弹幕还在无数人的玻璃平板上滚动。
有人喊“销毁所有AI”。
有人喊“还消防