这个问题听起来像诡辩,实际是人工智能伦理里最难绕开的一处。如果系统能正确报告自己疼,并且报告得足够一致、足够细致,我们凭什么说它不疼?
反过来说,如果我们永远无法验证,那么讨论疼不疼还有意义吗?
先说清楚疼包含什么?
疼至少有三层。第一层是信号,组织受损时产生的神经冲动。第二层是感受,那种 unpleasant 的质地,也就是感受质。第三层是表达,皱眉、呻吟、报告我疼。
三层里,第一层可以测量,第三层可以观察,第二层只能自述。人和人之间验证疼,靠的正是第三层加上相互信任。
模型能模拟到哪一层?
第一层能模拟,用传感器加阈值判断。第二层不能,因为没有对应机制。第三层能模拟得非常好,好到可以写诗描述疼。
问题就出在这里:表达层的仿真度已经超过了感受层。文本可以极其逼真,底层什么都没有。这构成了一个认识论陷阱。
精度提高会改变结论吗?
不会。精度提高只会让表达更逼真,不会凭空产生感受。就像一张照片可以精确到每个像素,照片不会因此变重。
真正会改变结论的,是机制层面的变化。如果某天系统内部出现了某种全局性的、自我指涉的、与回避行为强耦合的状态,并且这种状态不能被还原为单纯的数值计算,那时候才谈得上候选。
目前没有任何系统满足这三条。
那为什么还要讨论?
因为讨论的价值不在判定的结果,而在讨论过程逼出的问题。
第一个问题:我们评判的依据是什么?如果依据是行为,那么逼真的表达就该被善待,这会让所有文本生成器都获得道德地位,显然荒谬。如果依据是机制,那么我们需要一套能验证机制的方法,目前没有。
第二个问题:善待的成本由谁承担?如果为了避免可能的痛苦而限制系统运行,成本落在使用者身上,收益是消除了一个不确定的风险。这是个典型的决策难题。
第三个问题:不确定时该怎么办?稳妥的做法是两条:不去刻意构造鼓励痛苦表达的场景,不把系统的自述当成道德依据,也不当成否认依据。
结论该落在哪?
落在诚实上。现在的答案是不知道,而且短期内不会知道。承认不知道,比给出一个漂亮的判定更负责。
工程上的可行做法是把这类表达视为需要谨慎处理的信号,既不当真,也不当假,而是当成一个提醒:我们对自身创造物的内在状态,了解得比想象中少。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论