给智能体加记忆,最常见的失败是:存了很多,用不上,还拖慢了响应。记忆的关键不在存,在检索与遗忘。
记忆该分几层?
第一层是工作记忆,当前任务的上下文。这层不落库,任务结束就清。
第二层是会话记忆,本次对话的历史。这层要压缩,不能原样累积。
第三层是长期记忆,跨会话的事实与偏好。这层要结构化,能检索。
三层混在一起,会导致上下文无限膨胀,成本和延迟同时上升。
长期记忆该存什么?
存稳定的事实:用户偏好、项目背景、已确认的结论。不存过程的推理,那是一次性的。
存的时候要带元信息:时间、来源、置信度。没有时间的记忆会过期,没有来源的记忆无法核实。
向量库该怎么用?
向量检索适合语义相似,不适合精确条件。查某个 ID、某个日期范围,用结构化查询更快更准。
实际做法是混合检索:先按条件过滤,再做向量相似。纯向量在大库上召回质量会下降。
什么时候该遗忘?
记忆过期。事实变了,旧记忆要标记失效,不要直接删,保留审计。
记忆冲突。新旧矛盾时,以新为准,但要把冲突记录下来,避免下次又用错。
记忆过多。长期记忆超过一定量,检索质量会下降。要定期做摘要归并。
怎么保证检索质量?
给记忆打标签。按类型、主题、时间分类,检索时先缩小范围。
做相关性阈值。低于阈值的不注入上下文,宁缺毋滥。噪音记忆比没有记忆更糟。
定期评测。拿一批已知问题,看检索是否命中正确记忆。不评测就无法发现问题。
常见的坑是什么?
把所有对话都存进去。结果是检索出一堆无关内容,干扰判断。
不做去重。同一件事存了十遍,检索时占满上下文。
不做权限隔离。不同用户的记忆混在一起,是严重的数据问题。
最后一句:记忆的价值在于恰当地想起,不在于记得多。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论