自建 RAG 系统,最常见的失败不是模型不行,是检索不行。答错了十次,九次是因为没找到正确的资料。
第一步该做什么?
先做文档治理。把文档分类、去重、更新、标注来源。垃圾进垃圾出,这一步省不得。
文档要切成合适的块。太大检索不准,太小丢失上下文。按语义边界切,不要按固定字数硬切。
第二步做什么?
做向量化。选一个与语言和领域匹配的嵌入模型。多语言内容要用多语言模型。
向量库选型看三点:检索速度、过滤能力、运维成本。数据量小的时候,简单方案就够。
第三步做什么?
做混合检索。纯向量检索对精确词不敏感,比如产品型号、错误码。加关键词检索能补上这一块。
检索结果要重排。先用便宜的方式召回一批,再用精排模型筛出最相关的几条。全部塞进上下文,会稀释重点。
第四步做什么?
做生成约束。要求模型只基于提供的资料回答,资料里没有就说没有。这一条能大幅降低幻觉。
回答要带引用。标出结论来自哪一段,用户能自己核对。没有引用的回答,可信度低。
怎么评测?
建一个评测集:问题、标准答案、正确来源。每次改动后跑一遍看指标。
分开评两步:检索命中率、回答正确率。检索不中,回答再好也没用。
怎么持续优化?
收集真实问题。用户实际怎么问,和你假设的差别很大。
分析失败样本。是没检索到、检索到但没用上、还是用上了但答错。三类问题修法不同。
定期更新索引。文档变了索引不更新,答案就会过时。
常见的坑是什么?
切块太碎。每块只有一句话,检索到也没上下文。
不做权限隔离。不同部门的数据混在一个库里,会泄露。
只做向量不做过滤。按时间、按类型过滤,能大幅提升准确率。
最后一句:RAG 的上限由资料质量决定,不由模型决定。资料干净,答案才干净。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论