这是个很实际的问题。给它一份检索到的资料,再让它回答,它经常不用资料,而是按自己的记忆答。

这不是它不听话,是它的置信结构决定的。

为什么它更信自己?

因为训练过程中,参数里的知识被反复强化。一个事实在训练数据里出现几万次,它对这个事实的置信度很高。

检索到的资料只出现一次,在它的判断里权重低。所以当两者冲突,它倾向于相信自己。

检索结果为什么权重低?

因为检索结果在它的视角里是外部输入,不是内化的知识。它没有一个机制去评估这份资料的可信度。

人不一样。人看到一份正式文档,会自动给它更高权重,因为人知道来源的权威性。模型不知道。

这会导致什么?

导致检索形同虚设。你搭了 RAG,接了知识库,但模型还是按记忆答,检索只成了装饰。

这是很多 RAG 项目效果不佳的真实原因,不是检索不准,是检索结果没被采用。

怎么让它更信检索?

三个做法。第一,在提示词里明确要求以资料为准,冲突时以资料为准。第二,要求回答里标注依据来自哪一段。第三,在资料里加可信度标记。

第二个最有效。要求标注依据,会强制它去看资料。

为什么标注有效?

因为它改变了任务结构。不标注时,它只需要给答案;标注时,它需要先找到对应段落。

这个额外的步骤把它从记忆模式拉到了检索模式。

有没有更根本的解法?

有,是训练。让模型学会区分内部知识和外部资料,并且在冲突时优先外部。

这需要专门的数据:构造内部记忆和外部资料冲突的样本,标注应该信外部。这类训练目前做得不多。

对人有什么启示?

启示是:不要假设模型会像人一样评估信息源。它没有来源权威性的概念。

所以要靠结构约束,不靠它的判断。把权威性写进提示词,把引用变成硬要求。

最后该记住什么?

模型信自己,是因为它只有自己。外部资料对它来说只是文字,不是证据。

要让它把文字当证据,得在设计上给它一个理由。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论