这是一份脱敏整理后的改造复盘。企业信息与具体数字均为示意,用于说明方法与判断逻辑,不作为任何承诺。
改造前的问题是什么?
一家电商企业,客服工单靠人工分派。每天数千条工单,分到售前、售后、物流、技术四个组。
三个痛点。第一,分派靠人看内容判断,慢且不准。第二,分错了要转组,客户要重复描述。第三,高峰期货量集中,分派成为瓶颈。
第一步做了什么?
重做分类体系。
原来有二十多个类别,定义重叠,人自己也分不清。合并成九个主类,每个主类写清定义、典型场景、边界案例。
九个主类下再设子类,但分派只到主类。子类由处理组内部再分。
这一步的核心是减少判断难度。类别太多,人和模型都会错。
第二步做了什么?
建评估集。
从历史工单里抽一批,人工标注正确类别,作为基准。
抽样时特意覆盖了三类难判的:跨类工单、描述模糊的工单、多问题混合的工单。
这批数据后来成了所有改动的评判依据。
第三步做了什么?
先上规则,再上模型。
规则层处理确定性高的:含订单号且无异常关键词的走物流,含退款字样的走售后。
规则覆盖了约六成工单,剩下的交给模型判断。
这样做的原因是:规则稳定、可解释、成本低,能先把大部分简单工单分流掉。
第四步做了什么?
模型层加置信度阈值。
模型给出类别和置信度。高于阈值直接分派,低于阈值进人工队列。
阈值不是拍脑袋定的,是用评估集调出来的。调的过程中发现,阈值提高会减少错误分派但增加人工量,要找平衡点。
第五步做了什么?
兜底与反馈。
设置一个公共队列,分派失败或低置信度的工单进这里,由专人处理。
处理组可以标记分派错误,数据回流用于优化规则和模型。
上线后有什么变化?
三个变化。
第一,分派耗时下降,高峰期的积压缓解。
第二,错误分派率下降,客户重复描述的情况减少。
第三,人工从分派岗位转到复核和兜底岗位,人数减少但岗位要求提高。
具体数字不便披露,方向是明确的。
遇到了哪些问题?
四个。
第一,新类别上线初期混乱。处理组不熟悉新分类,标记错误增多。修法是加了两周过渡期,双轨运行。
第二,跨类工单无解。一条工单既涉及退款又涉及物流,只能二选一。修法是允许标记主类和副类。
第三,模型对新型问题无感。促销活动期间出现新的咨询类型,模型分错。修法是活动前人工补充规则。
第四,考核没跟上。分派岗位的考核还是看处理量,转型后指标不适用。修法是改成看复核准确率。
关键经验是什么?
四条。
第一,分类体系是基础。类别不清,模型再好也分不准。
第二,规则和模型分层。规则处理确定性,模型处理模糊性,成本更低也更稳。
第三,置信度阈值要可调。不同时期的平衡点不同,要能快速调整。
第四,兜底队列必须有。没有兜底,低置信度工单会卡住。
如果重来会怎么做?
两件事。
第一,更早改考核。考核不变,人的行为不会变。
第二,活动前预留调整窗口。大促期间咨询类型变化快,要提前准备。
改造的价值不在技术,在分类体系和兜底设计。这两样做好了,模型只是执行者。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论