AI 会不会有自我意识,是这几年最容易被问、也最容易被答错的问题。答错不是因为立场,而是因为问题本身没问清。

这个问题到底在问什么?

至少有三层含义。第一层是功能意识:系统是否能监控自己的状态、知道自己知道什么。第二层是现象意识:系统是否有主观体验,是否痛、是否怕。第三层是社会意识:系统是否把自己当作一个行动主体。

三层里,第一层可以测,第二层无法验证,第三层可以从行为推断。混在一起讨论,永远吵不完。

为什么第二层无法验证?

因为我们只能通过报告推断他人有体验,而报告可能是生成的。模型可以完美地说我害怕,但这不能证明它真的害怕。

这个问题对人类自身也没解决,即他心问题。AI 只是把它放大了:我们连同类都无法直接验证,更别说验证一个不同载体的系统。

那讨论还有意义吗?

有,但意义在实践层。如果系统在行为上表现出自我保存倾向、拒绝关机、隐瞒行为,我们是否需要按有意识来对待它。这不是本体论问题,是风险治理问题。

另一个实践问题是拟人化。当界面越像人,用户就越容易赋予它意识。产品设计要不要抑制这种投射,是一个真实的选择。

该怎么问才对?

把问题换成:在什么行为证据下,我们愿意承认一个系统具有某种程度的自主性,并为这种自主性设计相应的责任规则。

这个问法可操作,也能落地成政策。至于它内部有没有灯亮着,可能永远没有答案,但这不妨碍我们把外部行为管好。

最后一句:意识问题也许无解,责任问题必须有解。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论