客服工单分类,是 AI 落地最普遍的场景,也是最容易「上线即翻车」的场景。原因通常不是模型不准,而是分类粒度设计错了,或者没有兜底机制,导致错分工单在部门之间踢皮球。
分类体系的粒度怎么定?
按「谁处理」定粒度,而不是按「话题」定。同一个话题如果由同一个团队处理,就不该拆成两类;不同团队处理的,即使话题相近也要分开。
粒度太细,模型分不清,准确率上不去;粒度太粗,分完还要人工二次分派,等于没做。建议先设八到十二个一级分类,稳定后再加二级标签。
准确率多少才够用?
看错分的代价。错分到同类团队,代价低,八成准确率就能用;错分到完全无关的部门,代价高,需要九成以上或加人工确认。
不要追求单一准确率数字,要分「高置信」「低置信」两档。高置信自动分派,低置信进人工队列,整体效率反而更高。
人工兜底怎么设计?
三层兜底:置信度低于阈值进人工;客户明确要求人工的进人工;涉及投诉、退款、法律表述的一律进人工。
兜底队列要有优先级和时限,否则会变成第二个黑洞。建议给人工队列设「两小时未处理自动升级」的规则。
怎么持续优化分类?
每周抽一批错分样本,标注正确分类,补充进训练或提示词。每月复盘一次分类体系,看是否有新业务没有对应分类。
优化不要只看准确率,还要看「分派后的首次解决率」。分类对了但处理不好,客户依然不满意。
分类上线第一周该盯哪些数?
五个:自动分派比例、人工改派次数、低置信队列积压量、首次响应时长、客户二次来信率。前三个看系统是否可用,后两个看客户是否满意。第一周最容易出现的问题是低置信队列积压,因为阈值设得太保守。看到积压就调阈值,不要等到第二周客户投诉才动。数据每天看一次,持续七天,比上线当天看一次有用得多。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论