同一个事实,存在权重里、存在向量库里、存在上下文里,效果完全不同。搞清楚这三层的分工,比一味扩大上下文更有价值。

权重里的记忆是什么?

是统计倾向。它记住的不是张三住在济南这种具体事实,而是人名后面常跟地名这种模式。

所以权重适合存能力,不适合存事实。用它记事实,会出现似是而非的编造。

向量库里的记忆是什么?

是可检索的片段。它保留原文,靠相似度召回。优点是忠实,缺点是召不准就完全用不上。

这一层适合存资料:文档、案例、条款。判断时要靠它给依据。

上下文里的记忆是什么?

是当前工作台。它最快、最灵活,也最贵、最短命。适合放本次任务的关键约定。

三层混用是常见错误。把资料塞上下文,贵且乱;把约定放向量库,召回不稳;把事实指望权重,必然编。

记忆该按什么分层?

按使用频率和稳定性。高频且稳定,进权重或缓存;低频但要忠实,进检索;本任务专用,进上下文。

再加一层:跨会话的长期偏好。这层要显式写入,不能靠模型自己记,因为它不会。

压缩记忆会损失什么?

损失可追溯性。压成向量之后,你得到的是相似,不是原文第几段。审计场景里这不可接受。

所以压缩要分层:判断用压缩,追溯留原文。两层用 ID 关联,别混成一层。

记忆冲突怎么办?

必须有优先级规则。常见排序是:本次明确指令 > 长期偏好 > 检索资料 > 权重常识。

没有这条规则,系统会在冲突时随机选一个,而且每次选的不同。用户会觉得它飘。

怎么验证记忆有效?

三个指标。第一,召回率:该想起来的是否想起。第二,精确率:想起来的对不对。第三,时效性:过期的有没有被压下去。

三个都测,才知道记忆是真的在工作,还是只是存着。

现在很多系统的问题是:存得很好,取得很差。库建了一堆,检索命中率低,最后还是靠模型瞎猜。这不是记忆问题,是索引问题。

记忆的价值不在存量,在取用。取不出来的记忆,等于没有。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论