自然语言查数据是最好卖的功能,也是最容易翻车的功能。用户问一句,系统给一个数,数错了没人知道。
评估要做细,否则上线就是埋雷。
为什么准确率不能只看一个数?
因为错的类型不一样。有的错是查错表,有的错是条件写错,有的错是聚合方式错。
三类错的严重程度完全不同。查错表可能差十倍,条件写错可能差一点,聚合错可能完全反向。
该怎么分类评估?
按四类分:表选择、字段选择、条件构造、聚合与排序。
每类单独算准确率。这样能看出短板在哪,改起来有方向。
测试集怎么建?
从真实查询日志里取,不要自己编。编出来的问题往往太规整,测不出真实难度。
规模建议一百到三百条,覆盖简单查询、多条件、跨表、模糊表述、含歧义的。
歧义怎么处理?
两种情况。一种是系统应该反问澄清,一种是应该按最常见理解执行。
评估时要区分:该反问的没反问算错,该执行的去反问也算体验问题。
结果怎么验证?
三层验证。第一层,SQL 语法是否正确。第二层,执行结果是否合理(比如数量级对不对)。第三层,和人工写的标准 SQL 结果比对。
第三层最准,但成本高。建议对关键查询做第三层,其他做前两层。
准确率到多少能用?
取决于场景。内部参考用的,七成以上可以用,但要标注仅供参考。对外发布或涉及资金的,要求高得多。
不要用一个统一的数字做验收标准。按用途分级。
怎么持续改进?
三个动作。第一,记录每次查询和结果,人工标注对错。第二,定期把错例做成评测集。第三,把高频错例转成提示词里的规则。
第三个最有效。同一个错误出现三次以上,就该写成规则。
有什么容易忽略的风险?
权限。自然语言查询容易绕过权限控制,用户问一句就能看到不该看的数据。
这一条要在数据层解决,不能靠模型判断。所有查询都要过权限校验。
最后该记住什么?
自然语言查数据的价值在降低门槛,风险在降低谨慎。门槛降了,用的人多了;谨慎降了,错的影响也大了。
所以上线节奏要慢,先内部,再对外。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论