幻觉是大模型落地时最常被提起的问题,也是最容易被过度简化的问题。它不是单一病因,压制的办法也不止一种。

五种手段的实际效果怎么排?

按投入产出排,第一是检索增强。把事实来源放进上下文,并要求引用原文,能消掉大部分事实性幻觉。代价是要维护知识库。

第二是约束输出格式,强制模型在没把握时输出未知,而不是硬答。这一条成本最低,效果立竿见影。

第三是多次采样投票。同一问题跑三次,取一致答案。能压低随机性错误,但对系统性错误无效。

第四是后置校验,用规则或第二个模型核对关键字段。第五是微调,成本最高,通常放在最后。

为什么有些幻觉压不下去?

因为有的错误来自训练数据本身的偏差,不是推理时能修的。模型对某个领域的概念理解就是错的,再怎么检索也会在归纳时出错。

还有一类是问题本身含糊。用户问一个没有标准答案的问题,模型只能编一个看起来合理的答案。这时候该修的是提问,不是模型。

工程上该怎么组合?

一个可用的组合是:检索保证事实来源、格式约束保证可解析、关键字段后置校验保证不出大错。三层叠加,能把事实性错误压到可接受水平。

但要注意,每加一层都会增加延迟和成本。要按业务风险分级:影响钱的字段必须校验,影响阅读体验的内容可以放宽。

验收标准怎么定?

不要用零幻觉当目标,那不可实现。设一个可接受错误率,并按错误类型分级:编造事实、张冠李戴、过度概括,三类分别设阈值。

最实用的一条是让模型标注不确定。一个会说这我不确定的模型,比一个永远自信的模型安全得多。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论