RAG 系统上线后效果不稳,多数不是模型问题,是三类典型失败场景没被识别。认清场景,才知道该改哪。
第一类失败为什么是检索不到?
表现是回答我不知道,但知识库里明明有答案。
四个原因。
第一,切分不当。答案被切在两个块里,任一单块都不完整。
第二,表述差异。用户问的说法和文档里的说法用词不同,向量匹配不到。
第三,元数据过滤过严。按分类或时间过滤,把正确文档排除了。
第四,索引未更新。新文档没进索引,或旧文档删了但索引还在。
对应修法:调整切分粒度、加关键词检索做混合、放宽过滤条件、建索引更新机制。
第二类失败为什么是检索错了?
表现是答得流畅,但引用的是不相关文档。
四个原因。
第一,相似度阈值太低。分数不高也被采用。
第二,文档重复且矛盾。多份文档说不同的事,检索到哪份看运气。
第三,块太大。一个块里混了多个主题,匹配到其中一句,整块被采用。
第四,缺少重排序。初步检索召回多个候选,没有二次排序,直接取第一个。
对应修法:提高阈值、去重并标权威源、缩小块大小、加重排序步骤。
第三类失败为什么是检索对了但用错?
表现是引用正确文档,结论却是错的。
四个原因。
第一,上下文过长。塞进太多文档,模型抓错重点。
第二,指令不清。提示没说清该怎么用这些文档。
第三,文档本身有条件限制。模型忽略了适用范围,把有条件结论当无条件。
第四,多文档冲突没处理。提示没要求标注冲突,模型自己选了一个。
对应修法:控制上下文长度、明确使用规则、要求引用限制条件、要求显式标注冲突。
怎么定位属于哪类?
三个检查。
第一,看检索结果。把召回的文档打出来,看有没有正确的那份。
第二,看引用。回答引用的段落是不是真的支持结论。
第三,看原始文档。结论和文档原意是否一致。
三步定位,基本能判断问题在哪一层。
怎么系统性改进?
四条。
第一,建评估集。准备一批问题和标准答案,每次改动都跑。
第二,分开评估检索和生成。检索准确率和生成准确率分开算,才知道该改哪。
第三,记录失败案例。每次失败标注属于哪类,累积起来看分布。
第四,优先修高频类型。不要一次改所有问题。
常见问题?
第一,只调提示。检索不到时改提示没用。
第二,只换模型。检索错了换模型也没用。
第三,不做评估集。改完不知道有没有变好。
第四,忽略文档质量。文档本身过期或矛盾,任何技术都救不了。
RAG 的效果上限由知识库决定,由检索和生成共同实现。分层定位,才能对症下药。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论