用豆包做数据分析,最危险的错误不是算错,而是口径错。口径错了,算得再准也是错的,而且很难被发现,因为结果看起来很正常。
口径为什么会错?
因为同一个词在不同人嘴里意思不同。活跃用户是按登录算还是按下单算?新客是按注册算还是按首单算?退款是按下单时间算还是按退款时间算?这些差异不写清楚,模型只能选一个默认解释,而默认解释往往和业务方的理解不一致。
怎么把口径锁死?
三步。第一步,把每个指标的定义写成一句话,包括时间范围、统计对象、计算方式;第二步,把定义作为提示词的一部分传给模型,要求它严格按定义算;第三步,让它输出「口径说明」,把用了什么定义、排除了哪些数据写出来。三步里,第三步最关键,因为它让口径可见。
为什么要求输出口径说明?
因为这是唯一能让错误暴露的方式。结果对了但口径错了,看数字看不出来;把口径写出来,业务方一眼就能发现「我们不是这么算的」。口径说明不增加多少工作量,但能省掉大量返工和争论。
数据脏的时候怎么办?
三条。第一,先做数据体检,看缺失值、重复值、异常值的比例;第二,明确处理规则,缺失是剔除还是填充,重复是去重还是保留;第三,把处理记录写进输出,让结果可复现。三条里,第一条最容易被跳过,跳过之后所有分析都建在沙子上。
怎么验证结果可信?
两个动作。第一,抽样核对,随机抽十条原始数据,手工算一遍,和模型结果对比;第二,交叉验证,用另一种方法算同一个指标,看两个结果是否接近。两个动作里,第一个最直接,也最能建立信任。
分析报告该怎么写?
先给结论,再给依据,最后给口径。结论一句话,依据三条以内,口径单独一段。这个顺序让读的人先知道答案,再决定要不要看细节。反过来写,多数人读不到结论就关了。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论