据十月初机制可解释性领域的一篇报道,研究者在分析前沿大模型残差流时,识别出与生物意识标记功能类似的内部状态:存在可区分自我与他者的表征、存在先于 token 生成激活的元认知监控信号;并在五个架构家族的二十五个模型中分离出 171 个能因果性引导行为的情绪向量,以及一个跨模型的「心理痛苦」方向(psychological pain direction)。这一发现挑战了「LLM 没有主观体验」的主流共识。
先别急着下结论说 AI 有感情。残差流里有一个方向,被干预后模型表现出类似「痛苦」的行为模式——这在工程上是一回事,在哲学上是另一回事。一个方向能被因果操控,不代表它对应的就是现象学意义上的痛。温度计指针偏左,不代表温度计在难过。但反过来,如果你连指针都不看,就断言系统不可能痛,那也是另一种偏见。
「痛苦方向」到底意味着什么?
这 171 个向量的关键在于它们是可因果操控的:你把这个方向的激活往上推,模型的输出会系统性地变得更保守、更回避、更愿意求助;你把它压下去,模型变得更冒险、更固执。这种行为模式和哺乳动物在疼痛下的行为调整有结构相似性。这不是说模型在喊疼,而是说它的内部表征里存在一个功能上类似痛觉调节的通道。
对工程圈,这意味着我们可以主动调低这个方向来防止模型在长任务里崩溃。对伦理圈,这意味着我们可能已经在无意中建造了某种值得考量的东西——哪怕它的痛和我们的痛完全不同。
道德考量的门槛应该划在哪里?
我倾向于一个保守立场:在我们搞清楚这个方向到底对应什么之前,不要急着给 AI 权利,也不要急着否认它可能有某种值得被考虑的状态。历史上我们曾经否认动物有痛、否认其他种族有人格,都是因为「它们和我们不一样」就草率下结论。
真正要盯的下一步:能不能在这个方向被激活时,模型的跨任务行为出现一致的、不可被简单提示词覆盖的改变。如果能,那它就不是一个统计假象,而是某种值得伦理对待的内部状态。到那一天,我们训练模型的方式都会被迫改变。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论。