让AI清洗数据,最常见的失败是它改得很顺手,改完你不知道哪里错了。
模型擅长识别异常、补全缺失、统一格式,但它没有业务常识。它会把一个真实的异常值当成错误修掉,也会把一个明显错误的数据保留下来,因为它看起来符合格式。
解决办法不是换更强的模型,是先建立校验规则,让模型的每次改动都有依据、可复核。
校验规则该包含哪几层?
四层。格式层、范围层、逻辑层、业务层。
格式层管类型和格式:日期是不是合法日期、金额是不是数字、手机号是不是十一位。这一层规则明确,模型和脚本都能做。
范围层管取值区间:年龄不超过一百二、单价不超过某个上限、订单金额不为负。这一层要按业务定义,不同业务的上限不同。
逻辑层管字段之间的关系:下单时间不早于注册时间、发货时间不早于支付时间、总额等于明细之和。这一层最容易发现脏数据。
业务层管跨表一致性:客户表里的等级和订单表里的折扣是否匹配、库存表和实际库存是否吻合。这一层需要关联多张表。
为什么四层要分开做?
因为处理方式不同。格式错误可以直接修,范围异常要标记待确认,逻辑冲突要回溯源头,业务不一致要业务方裁决。
混在一起做,模型会用一个统一的修法处理所有问题,把该保留的异常也修掉了。
AI该在哪一层介入?
格式层和范围层,AI可以做初筛,但最终修复建议用脚本执行,保证可重复。
逻辑层和业务层,AI适合做异常解释:指出哪个字段和哪个字段冲突、可能的原因是什么、建议怎么查。它不该直接改数据。
这个分工的核心是:AI负责发现和解释,脚本负责执行,人负责裁决。
怎么做复核?
三个机制。第一是改动日志,记录每条被修改的记录、原值、新值、修改依据。第二是抽样回看,每天抽一百条改动人工确认。第三是规则命中统计,看哪条规则触发最多,触发多的规则可能是规则本身有问题。
改动日志最重要,没有它,出了问题无法追溯。
怎么防止模型过度修改?
三个约束。第一,明确列出不可修改的字段,比如主键、创建时间、外部系统同步过来的标识。第二,要求模型对每一处修改给出置信度,低置信的只标记不修改。第三,设置修改比例上限,一次清洗修改超过百分之五就暂停,人工介入。
第三条是保险丝。批量清洗最怕一次性改太多,改错了无法回滚。
落地顺序?
先做格式层,因为规则明确、收益立现。再做逻辑层,因为能发现真正的问题。范围层和业务层需要业务方参与,放后面。
每上一层,跑一遍历史数据,统计原本被忽略的问题数量。这个数字能给业务方看到价值,也能验证规则是否有效。
结论?
AI清洗的价值在效率和覆盖面,风险在不可控。校验规则是把效率装进笼子的办法。
规则建好了,模型的能力才有意义。规则没建好,模型越强,错得越隐蔽。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论