企业知识库 RAG 是改造里最常见的项目,也是失败率最高的项目之一。上线时演示很惊艳,用一个月就没人打开。
三个真实失败案例,说清失败在哪。
第一个案例失败在哪?
文档没治理。企业把共享盘里的文件全量导入,包括过期版本、草稿、重复文件。
结果是:同一个问题,检索出三个互相矛盾的答案。
教训是:入库前必须去重、定版本、标时效。
第二个案例失败在哪?
切分方式错了。把制度文件按固定字数切块,一个条款被切成两半。
结果是:检索到的片段缺少前提条件,答案看似正确实则错误。
教训是:按语义结构切,条款、章节、表格要完整保留。
第三个案例失败在哪?
只做检索不做判断。系统检索到相似段落就直接拼成答案,不判断是否真的回答了问题。
结果是:答非所问,用户失去信任。
教训是:要有「答不了就说答不了」的机制。
为什么这三个问题最普遍?
因为它们都不在模型层面,在数据层面。
多数项目把预算花在选模型上,把治理留给了「以后再说」。
文档治理该怎么做?
四步。第一,清点:有哪些文档、谁维护。第二,去重:同一内容只留最新版。第三,标时效:生效日期、失效日期。第四,定责任:每类文档有 owner。
第四个最关键。没有 owner,文档会持续腐化。
切分该怎么设计?
三个原则。第一,按结构切:标题、条款、表格各自成块。第二,带上下文:每块保留所属章节标题。第三,控制长度:太长检索不准,太短语义不全。
第二个原则最有效。带标题的片段,检索准确率明显更高。
兜底该怎么设计?
三个机制。第一,置信度阈值:低于阈值不答。第二,引用来源:每个答案标出原文位置。第三,反馈入口:用户可以点「没解决」。
第三个机制最重要。用户的反馈是改进的唯一信号。
该怎么衡量效果?
四个指标。第一,命中率:问题能在库里找到答案的比例。第二,准确率:答案正确的比例。第三,使用率:员工每周用几次。第四,解决率:用完问题真的解决的比例。
第三个指标最容易被忽略,也最能说明问题。
该怎么避免重蹈覆辙?
三步。第一,先做小库:选一个部门、一百份文档。第二,跑一个月:看使用率和准确率。第三,再扩:跑通了再加文档。
先小后大,是最省钱的路。
最后该记住什么?
RAG 的失败,八成不在模型,在文档。
文档清了,模型才有用。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论