数据治理没做好就上智能体,输出一定不靠谱,但不一定表现为胡说。更常见的是答得流畅、内容错误、还很有信心。这才是最危险的。
为什么数据差会导致错误输出?
三类机制。
第一类,检索错。知识库里有五份互相矛盾的文档,检索到哪份取决于匹配分数,不是正确性。它给出的答案可能来自过期版本。
第二类,字段错。同一个客户在系统里有三个编码,关联时选错,后续所有数据都错。这类错误对外表现为数据不准,对内表现为口径打架。
第三类,缺失兜底。关键字段为空时,模型会用常识填空。填空的内容看起来合理,其实是编的。
一定会胡说吗?
不一定。三种情况下表现还行。
第一,任务边界窄。例如只做固定格式的抽取,输入结构稳定。
第二,有人工复核。每个输出都有人过一遍,错误被拦住。
第三,数据虽然少但质量高。一份权威文档胜过十份杂乱文档。
所以问题不是会不会胡说,是错误能不能被发现。没有复核机制的错误输出,比明显胡说更危险。
怎么在数据没治理好之前先上?
三条路。
第一条,缩范围。只做一个数据质量最好的场景,用这一条业务线验证效果。
第二条,加校验。输出后加规则校验,字段格式、数值范围、必填项,不符合就拦下来。
第三条,加溯源。每个结论附来源文档和段落,让人能核对。
三条都做,能大幅降低错误外泄的概率。
数据治理该做哪几件事?
第一,统一标识。同一实体在系统间要有唯一键。
第二,明确权威源。哪个系统的数据算准,冲突时以谁为准。
第三,版本管理。文档要标版本和有效期,检索时优先取新版。
第四,质量监控。关键字段的完整率、一致率、及时率,做成周报。
四件事不用一次做完,按场景优先级推进。
怎么判断现在能不能上?
三个检查项。
第一,关键字段完整率是否超过八成。低于八成,先补数据。
第二,同一实体是否存在多版本冲突。存在就先统一。
第三,是否有权威源清单。没有就先定。
三项都在及格线,可以上;有一项明显不足,先做治理。
长期怎么做?
第一,把数据质量写进验收指标。第二,每次错误输出都追溯到数据原因,形成问题清单。第三,定期清理过期文档。
智能体的上限由数据决定。模型再好,也补不上数据的窟窿。先把地基夯实,再谈能力。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论