做过智能体的人几乎都遇到同一件事:明明给它配了记忆,用起来还是像失忆。聊过十轮的偏好,第十一轮全忘了;上周确认过的口径,这周又按默认值算。问题不在模型不聪明,而在记忆这套机制本身容易出结构性错误。
记忆失效的三种典型表现是什么?
第一种是写入失败,重要信息根本没被存下来,因为当时没被判定为「值得记」;第二种是检索失败,存了但没被召回,因为查询语句和存储表述对不上;第三种是污染,旧信息没被覆盖,和新信息一起被召回,模型只好自己挑一个,挑错了就出错。三种表现的修法完全不同,不区分就乱调。
长期记忆该存什么不该存什么?
该存三类:稳定的身份与偏好、已确认的口径与规则、可复用的结论与决策理由。不该存三类:原始流水对话、可从源文件重新读取的事实、模型自己生成的推测。存得越多不等于记得越牢,噪声多了召回精度反而下降。判断标准很简单:这条信息三个月后还有效吗,还能从原处查到吗。
检索和写入哪个更容易出错?
写入更容易出错,而且更难发现。检索错了,用户当场就能感觉到答非所问;写入错了,会在几周后以莫名其妙的方式爆发。工程上的对策是给写入加一道确认:新信息与旧信息冲突时,不直接覆盖,而是标记冲突、留待人工或规则裁决。
工程上怎么验证记忆真的生效?
三步。第一步,构造一个只有靠记忆才能答对的问题,比如上周定下的报价口径;第二步,隔一轮无关对话再问,检验它是否还在;第三步,改一次口径,看它是否按新值回答,而不是把新旧混在一起。三步都过,才算记忆可用。只测第一步,测的是上下文,不是记忆。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论