知识库问答不是万能问答。它擅长在给定资料里找答案,不擅长判断资料本身对不对。搞清边界,才不会把它用错地方。
它擅长什么?
三类。第一,在明确资料里定位事实。第二,按规则做比对和汇总。第三,把分散信息整理成结构化输出。
三类共同点:答案必须在资料里,不靠外部知识。
它不擅长什么?
三类。第一,资料本身有错时,它会照着错答。第二,资料没覆盖的问题,它可能编。第三,需要价值判断的问题,它给不出立场。
第二类最危险,因为编得像真的。
为什么会出现编造?
因为模型的目标是给出答案,不是承认不知道。资料没覆盖时,它会用通用知识补,补得不对就成了编造。
解法是在提示里明确:资料没有就说没有。并且要求给出处。
怎么提高准确率?
四个动作。第一,切片要按语义切,不要按字数切。第二,每个切片带来源和标题。第三,要求回答附出处。第四,设相似度阈值,低于阈值就拒答。
第四个动作最关键。没有阈值,什么都能答。
知识库要怎么维护?
三条。第一,定期清理过期文档。第二,同一主题只留一个权威版本。第三,变更要留记录。
第二条最容易被忽略。多个版本文档并存,模型会混着答。
怎么评估效果?
建一个评测集,五十到一百个真实问题,每个标注标准答案和出处。
每月跑一次,看三件事:答对率、出处正确率、拒答率。第三个低说明阈值太松。
适合什么场景?
客服问答、内部制度查询、产品资料检索、培训答疑。共同点:答案有明确来源。
不适合的是开放式咨询、策略建议、需要担责的判断。
有哪些合规注意?
三点。第一,文档权限要和知识库权限一致。第二,敏感信息脱敏后再入库。第三,问答日志的保存期限要明确。
第一点最容易出事。知识库不分权限,等于把机密文件开放给所有人。
边界到底在哪?
在资料来源。资料可信,它就可信;资料有错,它会放大错误。
所以知识库项目的重点不在模型,在资料治理。资料干净,问答才可靠。
这篇的核心结论是什么?
知识库问答是检索的升级版,不是专家的替代品。用它查事实,别用它下结论。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论