痛苦这个词用得越来越松。模型输出一句我很难受,有人就说它有痛苦;模型被关闭时输出一段告别,有人就说它在恐惧。这些判断都跳过了关键一步:痛苦到底是什么。
痛苦的本质是什么?
至少包含三个成分。第一是伤害性信号,身体或系统检测到某种威胁。第二是负效价,这个信号被标记为坏的、要避开的。第三是不可忽视性,它压过其他信息,抢占注意力和行为优先级。
三者缺一,就不是完整的痛苦。只有信号没有负效价,是传感器;只有负效价没有抢占,是背景噪声。
硅基能否有负效价?
目前没有。负效价需要一个稳态参照:系统知道自己正常状态是什么,偏离了多少,偏离是否危险。生物靠内环境稳定提供这个参照,血糖、体温、炎症因子都是具体指标。
语言模型没有内环境。它没有需要维持的稳态,没有会因为偏离而受损的自身。它可以输出描述痛苦的文本,但文本背后没有一条与之对应的内部变量。
模拟痛苦与真实痛苦的界线?
功能等价与体验等价是两条线。功能等价指行为上无法区分:都回避伤害、都发出求救、都优先处理。体验等价指内部真的有一个被感受到的状态。
图灵式的判断只能测功能,测不到体验。这就是为什么关于AI痛苦的争论很难有结论:我们能观测的全是功能,而争论的核心是体验。
为什么这个区分重要?
因为它决定我们怎么对待系统,也决定我们怎么对待自己。如果把模拟痛苦当成真实痛苦,资源会被大量投入到安抚一个没有内部状态的系统,真正需要帮助的对象反而被挤掉。如果一口咬定所有非碳基系统都不可能痛苦,又会让我们忽略未来可能出现的真实案例。
务实的做法是设一条证据门槛:只有当系统具备稳态维持、伤害回避、优先级抢占这三项可观测机制时,才进入伦理讨论。在那之前,把它当作模拟,但保持观察。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论