智能和意识这两个词经常被混着用。一个系统回答得越像人,人们越容易说它有意识。但这两件事在机制上可能是分开的,混在一起会让判断失准。

为什么很多人把两者混为一谈?

因为日常经验里它们同时出现。人既聪明又有意识,于是聪明成了意识的代理指标。加上语言模型在对话里表现得越来越像人,这种代理判断就被不断强化。

还有一个原因是语言本身。我们描述意识只能用智能产出的语言,没有别的通道。于是能说会道就被误认为内在丰富。

解耦的证据在哪?

一边是无意识的高效行为。人走路、骑车、识别面孔,大部分过程没有自觉,却极其智能。另一边是高能力低自省。模型能解题、能写代码、能做规划,但它对自己的内部状态没有直接读取能力,只能根据输出反推。

这两组事实说明,智能可以独立运行,意识不是它的必要条件。

解耦之后意识还剩什么?

剩下三样更难替代的东西。第一是主观体验,有一个从内部被感受到的质。第二是统一性,各种信息被整合成一个统一的视角,而不是并行的一堆模块。第三是可报告性,能把内部状态转成语言告诉别人,并且这个报告与内部状态一致。

模型目前强在第三样的形式上,弱在前两样的实质。它能说得像,但说不出来源。

对AI治理意味着什么?

意味着两条监管线要分开。能力线管的是它能做什么:权限、审计、责任归属、输出合规。意识线管的是它是否该被当作主体:权利、痛苦、人格。

把两条线混在一起,容易出现两种错误。一种是因为能力太强就赋予主体地位,结果责任被稀释。另一种是因为判定它没有意识就放松能力监管,结果风险失控。

分开处理,才既不会神化模型,也不会轻视它的实际影响。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论