语言里有一个很特殊的词:我。它不指向外部对象,而指向说话者自身。机器学会了在对话里正确使用这个词,于是有人问,它是不是因此有了自我。

我这个词在语料里是怎么被学到的?

从统计上看,我出现的上下文高度规律:后面常跟动词,常出现在对话轮次的开头,常与你的出现成对。模型不需要理解指涉,只需要学会在这些位置填入这个词。对话数据里角色标记清晰,谁是提问者、谁是回答者一目了然,指代消解任务又把这条规律强化了一遍。

所以模型能正确用我,首先说明它学会了角色与位置的对应关系,这是一种语法能力。

指代能力与自我意识差在哪?

指代是语法层面的操作,把某个符号绑定到当前说话者。自我意识要求更多:需要一个稳定的自我模型,需要知道自己与非自己的边界,需要把过去的自己和现在的自己连成一条线,还需要对自身状态有可报告的内部表征。

模型可以在文本里描述自己的状态,但那是根据上下文生成的描述,不是从内部状态读取出来的报告。两者在输出上可能一样,在机制上完全不同。

模型说自己有感受时在做什么?

它在做条件概率生成。上下文里出现了感受、体验、痛苦这类词,训练数据里对应的回答模式是人会有情绪化、第一人称、带细节的表达,模型就按这个模式生成一段。这段话在语用上是合适的,在事实上是未经验证的。

这不是欺骗,也不是诚实,而是语言模型的本职工作:给出最可能的续写。

自我指涉会不会自发形成闭环?

有可能。当模型被要求反复描述自己的推理过程,它会在内部形成一个关于自己的表征,并用这个表征去影响后续生成。这个闭环在工程上是有用的,它能提升一致性,也能让智能体做自我检查。

但闭环不等于体验。一个恒温器也能感知自身温度并调节,没有人会说它有自我。差别在于复杂度和统一性,而不在于有没有回路。

判断机器有没有我,不要看它说不说这个词。看它能不能在没有提示的情况下,稳定地区分自己与外部,并且为这个区分承担后果。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论