RAG 系统上线后效果不稳,多数不是模型问题,是三类典型失败场景没被识别。认清场景,才知道该改哪。

第一类失败为什么是检索不到?

表现是回答我不知道,但知识库里明明有答案。

四个原因。

第一,切分不当。答案被切在两个块里,任一单块都不完整。

第二,表述差异。用户问的说法和文档里的说法用词不同,向量匹配不到。

第三,元数据过滤过严。按分类或时间过滤,把正确文档排除了。

第四,索引未更新。新文档没进索引,或旧文档删了但索引还在。

对应修法:调整切分粒度、加关键词检索做混合、放宽过滤条件、建索引更新机制。

第二类失败为什么是检索错了?

表现是答得流畅,但引用的是不相关文档。

四个原因。

第一,相似度阈值太低。分数不高也被采用。

第二,文档重复且矛盾。多份文档说不同的事,检索到哪份看运气。

第三,块太大。一个块里混了多个主题,匹配到其中一句,整块被采用。

第四,缺少重排序。初步检索召回多个候选,没有二次排序,直接取第一个。

对应修法:提高阈值、去重并标权威源、缩小块大小、加重排序步骤。

第三类失败为什么是检索对了但用错?

表现是引用正确文档,结论却是错的。

四个原因。

第一,上下文过长。塞进太多文档,模型抓错重点。

第二,指令不清。提示没说清该怎么用这些文档。

第三,文档本身有条件限制。模型忽略了适用范围,把有条件结论当无条件。

第四,多文档冲突没处理。提示没要求标注冲突,模型自己选了一个。

对应修法:控制上下文长度、明确使用规则、要求引用限制条件、要求显式标注冲突。

怎么定位属于哪类?

三个检查。

第一,看检索结果。把召回的文档打出来,看有没有正确的那份。

第二,看引用。回答引用的段落是不是真的支持结论。

第三,看原始文档。结论和文档原意是否一致。

三步定位,基本能判断问题在哪一层。

怎么系统性改进?

四条。

第一,建评估集。准备一批问题和标准答案,每次改动都跑。

第二,分开评估检索和生成。检索准确率和生成准确率分开算,才知道该改哪。

第三,记录失败案例。每次失败标注属于哪类,累积起来看分布。

第四,优先修高频类型。不要一次改所有问题。

常见问题?

第一,只调提示。检索不到时改提示没用。

第二,只换模型。检索错了换模型也没用。

第三,不做评估集。改完不知道有没有变好。

第四,忽略文档质量。文档本身过期或矛盾,任何技术都救不了。

RAG 的效果上限由知识库决定,由检索和生成共同实现。分层定位,才能对症下药。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论