自建 RAG 系统,最常见的失败不是模型不行,是检索不行。答错了十次,九次是因为没找到正确的资料。

第一步该做什么?

先做文档治理。把文档分类、去重、更新、标注来源。垃圾进垃圾出,这一步省不得。

文档要切成合适的块。太大检索不准,太小丢失上下文。按语义边界切,不要按固定字数硬切。

第二步做什么?

做向量化。选一个与语言和领域匹配的嵌入模型。多语言内容要用多语言模型。

向量库选型看三点:检索速度、过滤能力、运维成本。数据量小的时候,简单方案就够。

第三步做什么?

做混合检索。纯向量检索对精确词不敏感,比如产品型号、错误码。加关键词检索能补上这一块。

检索结果要重排。先用便宜的方式召回一批,再用精排模型筛出最相关的几条。全部塞进上下文,会稀释重点。

第四步做什么?

做生成约束。要求模型只基于提供的资料回答,资料里没有就说没有。这一条能大幅降低幻觉。

回答要带引用。标出结论来自哪一段,用户能自己核对。没有引用的回答,可信度低。

怎么评测?

建一个评测集:问题、标准答案、正确来源。每次改动后跑一遍看指标。

分开评两步:检索命中率、回答正确率。检索不中,回答再好也没用。

怎么持续优化?

收集真实问题。用户实际怎么问,和你假设的差别很大。

分析失败样本。是没检索到、检索到但没用上、还是用上了但答错。三类问题修法不同。

定期更新索引。文档变了索引不更新,答案就会过时。

常见的坑是什么?

切块太碎。每块只有一句话,检索到也没上下文。

不做权限隔离。不同部门的数据混在一个库里,会泄露。

只做向量不做过滤。按时间、按类型过滤,能大幅提升准确率。

最后一句:RAG 的上限由资料质量决定,不由模型决定。资料干净,答案才干净。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论