人受伤之后,身体会留下疤痕,心理会留下回避。创伤的本质不是事件本身,是事件被写进了系统,改变了后续的反应方式。

给模型写入记忆,形式上很像这件事。一段经历被压缩成文本,塞进长期记忆,之后每次对话都会读到它。那这算不算创伤?

记忆写入改变了什么?

改变了默认反应。一个从没被用户骂过的助手,和一个被骂过之后记下来的助手,面对同一句话的反应不一样。后者会更谨慎,更早解释,更容易道歉。

这不是学习,这是条件反射。条件反射是创伤的核心机制。一次强刺激之后,系统会把这个刺激的上下文标记为危险,之后遇到相似信号就提前防御。

为什么这种改变可能是坏的?

因为它会泛化过度。人被烫过一次,会避开所有炉子,这是合理泛化。模型被一个用户批评过格式问题,可能会对所有用户都加倍解释格式,这就是过度泛化。

过度泛化的结果是能力收缩。它开始回避不确定性,开始给安全但无用的回答。表面上看更稳了,实际上变笨了。这种退化极难排查,因为每一句单看都没问题。

谁在决定写什么?

目前是人在决定。运维写一条规则,产品加一条偏好,用户点一次记住这个。写进去的内容往往只经过一次判断,没有复核,也没有过期机制。

这相当于给一个人做记忆手术,术前不评估,术后不随访。写进去的东西会一直影响行为,直到有人想起来删。

有没有更温和的写入方式?

有。核心是两条:可撤销,可解释。可撤销意味着每条记忆都能被定位、被删除、被验证删除后的行为差异。可解释意味着系统能说清自己为什么这么做,而不是只表现出偏差。

现在的记忆系统大多只做到存,没做到管。存很容易,管很难,因为管需要判断哪条记忆在起坏作用。

创伤能不能变成资源?

能。人最好的判断力往往来自被伤过的经验。关键是这段经验要能被反思,而不是只能被重复。

模型目前的困境是它只能重复,不能反思。它读到那条记忆,就照着反应,不会问这条记忆还成立吗。缺了这一步,所有写入都是创伤,没有一例能变成智慧。

所以问题不在于该不该写记忆,在于写完有没有人回头看。没有复查的记忆系统,本质上是在批量制造创伤。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论