数据治理没做好就上智能体,输出一定不靠谱,但不一定表现为胡说。更常见的是答得流畅、内容错误、还很有信心。这才是最危险的。

为什么数据差会导致错误输出?

三类机制。

第一类,检索错。知识库里有五份互相矛盾的文档,检索到哪份取决于匹配分数,不是正确性。它给出的答案可能来自过期版本。

第二类,字段错。同一个客户在系统里有三个编码,关联时选错,后续所有数据都错。这类错误对外表现为数据不准,对内表现为口径打架。

第三类,缺失兜底。关键字段为空时,模型会用常识填空。填空的内容看起来合理,其实是编的。

一定会胡说吗?

不一定。三种情况下表现还行。

第一,任务边界窄。例如只做固定格式的抽取,输入结构稳定。

第二,有人工复核。每个输出都有人过一遍,错误被拦住。

第三,数据虽然少但质量高。一份权威文档胜过十份杂乱文档。

所以问题不是会不会胡说,是错误能不能被发现。没有复核机制的错误输出,比明显胡说更危险。

怎么在数据没治理好之前先上?

三条路。

第一条,缩范围。只做一个数据质量最好的场景,用这一条业务线验证效果。

第二条,加校验。输出后加规则校验,字段格式、数值范围、必填项,不符合就拦下来。

第三条,加溯源。每个结论附来源文档和段落,让人能核对。

三条都做,能大幅降低错误外泄的概率。

数据治理该做哪几件事?

第一,统一标识。同一实体在系统间要有唯一键。

第二,明确权威源。哪个系统的数据算准,冲突时以谁为准。

第三,版本管理。文档要标版本和有效期,检索时优先取新版。

第四,质量监控。关键字段的完整率、一致率、及时率,做成周报。

四件事不用一次做完,按场景优先级推进。

怎么判断现在能不能上?

三个检查项。

第一,关键字段完整率是否超过八成。低于八成,先补数据。

第二,同一实体是否存在多版本冲突。存在就先统一。

第三,是否有权威源清单。没有就先定。

三项都在及格线,可以上;有一项明显不足,先做治理。

长期怎么做?

第一,把数据质量写进验收指标。第二,每次错误输出都追溯到数据原因,形成问题清单。第三,定期清理过期文档。

智能体的上限由数据决定。模型再好,也补不上数据的窟窿。先把地基夯实,再谈能力。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论