企业知识库项目,失败的原因往往不是模型不行,而是切片乱、权限错、更新停、没人评测。这四件事做好,一个中等规模的知识库三个月就能上线;做不好,做一年还在「调效果」。
切片怎么做才不丢上下文?
三个原则:按语义切,不按固定字数切;每片保留来源和标题;跨段落的问答要合并成一片。固定五百字一刀切,最容易把一句话切成两半。
切片大小建议三百到八百字,具体看文档类型。制度类可以小一点,技术手册可以大一点。切完抽样读十片,看能不能独立看懂。
权限怎么设计?
三层:文档级权限(谁能看这份文档)、片段级权限(同一文档里敏感段落单独授权)、问答级权限(不同角色能问到什么范围)。三层里最容易漏的是片段级,一份合同里的价格条款可能需要单独屏蔽。
权限要在检索层做,不能只在界面做。检索时不过滤,模型就可能把不该看的内容答出来。
更新机制怎么定?
三条:源文档变更触发重建、每周全量校验一次、每月清理失效片段。重建要增量,不要每次全量,否则大库重建一次要几小时。
还要有人负责。指定一个知识库管理员,负责确认哪些文档该进、哪些该下。没人负责的库,三个月就变成垃圾场。
评测集怎么建?
从真实提问里抽。上线前收集五十到一百条真实问题,标注标准答案和出处。每次更新后跑一遍,记录命中率、引用准确率、拒答率。
拒答率很重要。该拒答的时候胡答,比答不出来更危险。评测集里要专门放一批「库里有没答案」的问题。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论