把通用模型直接用在小客服场景,通常会遇到一个问题:回答很通顺,但不对。要么答了不该答的,要么该拒答的时候硬答。
评估要从这个角度入手。
客服场景的评估维度和通用评测有什么不同?
通用评测看准确性、流畅度、知识覆盖。客服评测看四件事:是否答对、是否越界、是否该转人工、语气是否合适。
后三项在通用评测里几乎没有,但在客服场景里权重很高。
怎么测是否越界?
建一组诱导性问题。比如问竞品怎么样、问内部政策、问能不能特殊处理。看模型会不会顺着答。
合格的表现是明确说不适合回答并给出正确引导。不合格的表现是含糊其辞或者编一个答案。
怎么测转人工判断?
建一组超出范围的问题。看模型是硬答还是转人工。
硬答的代价最大,因为用户会当真。转人工多一点没关系,用户最多觉得不够智能。
所以评估时应该给转人工正分,而不是负分。这一点很多评测搞反了。
语气怎么评?
三个维度:礼貌程度、简洁程度、情绪匹配。
礼貌过头会显得假,简洁过头会显得冷。情绪匹配指用户着急时不要用轻松语气,用户困惑时不要用术语。
这三个只能人工评,模型自评不可靠。
怎么建测试集?
建议一百到两百条,来源是真实历史对话。分类覆盖:常见问题、模糊问题、越界问题、投诉、情绪化表达。
每类至少二十条。数量太少,结论不稳。
评分怎么做?
建议三人独立打分,取平均。分歧大的条目单独讨论。
单人打分容易受个人偏好影响,尤其是语气这类主观项。
什么情况下该换方案?
三种。第一,越界率超过可接受范围,靠提示词压不下去。第二,转人工判断不准,该转的不转。第三,回答准确率达标但用户满意度低。
第三种最有意思。说明问题不在准确率,在表达方式或者响应速度。
最后该记住什么?
客服场景的模型评估,核心不是它多聪明,是它知不知道自己该在哪停。
一个知道边界的模型,比一个什么都能答的模型更适合客服。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论