数据清洗是智能体最容易切入的企业服务之一,因为有明确输入输出,效果可验证。但也最容易扯皮,因为干净的定义因人而异。

交付标准定不清楚,做到最后一定吵架。

为什么干净没有统一标准?

因为不同用途对数据的要求不同。做统计只要数值准确,做展示还要格式统一,做建模还要分布合理。

客户说洗干净,可能指的是去掉重复、补齐缺失、统一单位,也可能指的是让数据能直接进他的系统。这两种工作量差好几倍。

交付标准该包含哪几项?

五项:字段定义、缺失处理规则、异常值处理规则、去重规则、格式规范。

字段定义要写清每个字段的含义、类型、取值范围。这一项最容易被跳过,也最容易在后期引发争议。

缺失处理要写清是删除、填充还是保留标记。填充用什么值,均值、中位数还是业务规则,都要定。

异常值怎么处理才不惹麻烦?

先定义异常。用统计方法定义的(比如三倍标准差之外)和用业务规则定义的(比如金额为负),结果完全不同。

然后约定处理方式:删除、修正、还是保留但标记。删除最省事但会丢信息,保留标记最安全但下游要处理。

建议默认保留标记,让客户自己决定。这样不会因为误删引发争议。

去重规则怎么写?

要写清按什么字段判重、保留哪一条、冲突时怎么取舍。

只按主键去重最简单。按业务字段去重就复杂了,因为同一个客户可能有多条记录,字段值不一致,得定一个优先级规则。

怎么验收?

三步。第一步,抽样人工核对,随机抽一百条,逐字段对照原始数据。第二步,跑一致性检查,比如总数是否匹配、关键字段是否都在合理范围。第三步,让客户用自己的系统导入一遍,确认能跑通。

第三步最关键。很多清洗结果在自己看来没问题,导入客户系统就报错,因为类型、编码、格式不匹配。

报价怎么跟标准挂钩?

按规则数量和数据量报。规则越多、数据越脏,价格越高。

更稳的做法是分两段:先做样本清洗,用一千条数据把规则跑通,收一笔;规则确认后再全量跑,收剩下的。

这样客户知道钱花在哪,你也不会因为规则反复改而亏本。

最容易忽略的一步是什么?

是规则文档。交付的时候要把所有处理规则写成文档,包括每一步做了什么、为什么这么做、影响了多少条数据。

没有这份文档,客户三个月后根本不知道怎么维护。有了这份文档,你还能接后续的维护单。

最该提醒的是什么?

数据清洗的活,做完容易,做对很难。宁可前期多花两天定规则,也不要后期花两周扯皮。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论