企业知识库项目失败,多数不是模型不行,是数据不行。上线前看着文档齐全,跑起来发现检索总取偏,答案总差一点。
排查下来,八成问题集中在三处脏数据。
第一个问题为什么是同一份文档有多个版本?
企业文档的生命周期里会产生大量版本:草稿、评审版、定稿、修订版、作废版。这些文件往往都存在共享盘里,文件名只差一个日期或者一个后缀。
检索时按相似度取,很可能取到作废版。模型照着作废版答,答案在业务上就是错的,而且错得很隐蔽。
解决办法:入库前做版本归并。按文档标题加业务编号做主语,识别同一文档的所有版本,只保留最新有效版。作废版单独存一个归档库,检索时排除。
这一步做不好,后面所有优化都是白费。
第二个问题为什么表格和图片里的信息会丢?
企业文档里大量关键信息在表格里:报价、参数、责任人、时间节点。常规解析把表格拍平成文本,行列关系全丢,模型读到一串没有结构的数字。
图片更麻烦:流程图、架构图、扫描件,直接解析出来是空的或者乱码。
解决办法:表格按行列结构抽取,转成带表头的结构化文本,每行标注所属字段。图片做OCR,流程图做结构识别,识别不了的人工补一段描述。
这一步的投入产出比最高,因为业务问题经常问的就是表格里的数。
第三个问题为什么术语总是不统一?
同一个东西在不同部门有不同的叫法。销售叫客户,产品叫用户,技术叫账号。同一份合同里可能三种说法混用。
检索时用户问客户流失,文档里写的是用户流失,向量检索能部分匹配,关键词检索直接漏掉。混合检索也会降低召回。
解决办法:建术语表,把同义词、缩写、旧称映射到标准词。入库时做归一化,查询时也做归一化。术语表不用大,覆盖高频的几十个词就有效果。
还有哪些常见坑?
权限边界不清,检索把不该看的文档取出来给模型,模型照着答了。这个问题必须在检索层做过滤,不能靠提示词约束。
文档更新没有增量机制,新文档入库要全量重建索引,周期长。应该做增量索引,新文档入队后几分钟内可检索。
引用溯源缺失,答案没有出处,业务方不敢用。每条答案要能追到具体的文档和段落。
落地顺序该怎么排?
先做版本归并,再做结构化抽取,然后建术语表,最后接权限和溯源。
前面两步决定召回质量,后面两步决定可信度。四步都做完,才谈得上可用。
很多项目跳过前两步直接调模型,结果在错误的检索结果上反复优化提示词,越优化越偏。这是最常见的浪费。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论