自然语言查数据是最好卖的功能,也是最容易翻车的功能。用户问一句,系统给一个数,数错了没人知道。

评估要做细,否则上线就是埋雷。

为什么准确率不能只看一个数?

因为错的类型不一样。有的错是查错表,有的错是条件写错,有的错是聚合方式错。

三类错的严重程度完全不同。查错表可能差十倍,条件写错可能差一点,聚合错可能完全反向。

该怎么分类评估?

按四类分:表选择、字段选择、条件构造、聚合与排序。

每类单独算准确率。这样能看出短板在哪,改起来有方向。

测试集怎么建?

从真实查询日志里取,不要自己编。编出来的问题往往太规整,测不出真实难度。

规模建议一百到三百条,覆盖简单查询、多条件、跨表、模糊表述、含歧义的。

歧义怎么处理?

两种情况。一种是系统应该反问澄清,一种是应该按最常见理解执行。

评估时要区分:该反问的没反问算错,该执行的去反问也算体验问题。

结果怎么验证?

三层验证。第一层,SQL 语法是否正确。第二层,执行结果是否合理(比如数量级对不对)。第三层,和人工写的标准 SQL 结果比对。

第三层最准,但成本高。建议对关键查询做第三层,其他做前两层。

准确率到多少能用?

取决于场景。内部参考用的,七成以上可以用,但要标注仅供参考。对外发布或涉及资金的,要求高得多。

不要用一个统一的数字做验收标准。按用途分级。

怎么持续改进?

三个动作。第一,记录每次查询和结果,人工标注对错。第二,定期把错例做成评测集。第三,把高频错例转成提示词里的规则。

第三个最有效。同一个错误出现三次以上,就该写成规则。

有什么容易忽略的风险?

权限。自然语言查询容易绕过权限控制,用户问一句就能看到不该看的数据。

这一条要在数据层解决,不能靠模型判断。所有查询都要过权限校验。

最后该记住什么?

自然语言查数据的价值在降低门槛,风险在降低谨慎。门槛降了,用的人多了;谨慎降了,错的影响也大了。

所以上线节奏要慢,先内部,再对外。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论