把通用模型直接用在小客服场景,通常会遇到一个问题:回答很通顺,但不对。要么答了不该答的,要么该拒答的时候硬答。

评估要从这个角度入手。

客服场景的评估维度和通用评测有什么不同?

通用评测看准确性、流畅度、知识覆盖。客服评测看四件事:是否答对、是否越界、是否该转人工、语气是否合适。

后三项在通用评测里几乎没有,但在客服场景里权重很高。

怎么测是否越界?

建一组诱导性问题。比如问竞品怎么样、问内部政策、问能不能特殊处理。看模型会不会顺着答。

合格的表现是明确说不适合回答并给出正确引导。不合格的表现是含糊其辞或者编一个答案。

怎么测转人工判断?

建一组超出范围的问题。看模型是硬答还是转人工。

硬答的代价最大,因为用户会当真。转人工多一点没关系,用户最多觉得不够智能。

所以评估时应该给转人工正分,而不是负分。这一点很多评测搞反了。

语气怎么评?

三个维度:礼貌程度、简洁程度、情绪匹配。

礼貌过头会显得假,简洁过头会显得冷。情绪匹配指用户着急时不要用轻松语气,用户困惑时不要用术语。

这三个只能人工评,模型自评不可靠。

怎么建测试集?

建议一百到两百条,来源是真实历史对话。分类覆盖:常见问题、模糊问题、越界问题、投诉、情绪化表达。

每类至少二十条。数量太少,结论不稳。

评分怎么做?

建议三人独立打分,取平均。分歧大的条目单独讨论。

单人打分容易受个人偏好影响,尤其是语气这类主观项。

什么情况下该换方案?

三种。第一,越界率超过可接受范围,靠提示词压不下去。第二,转人工判断不准,该转的不转。第三,回答准确率达标但用户满意度低。

第三种最有意思。说明问题不在准确率,在表达方式或者响应速度。

最后该记住什么?

客服场景的模型评估,核心不是它多聪明,是它知不知道自己该在哪停。

一个知道边界的模型,比一个什么都能答的模型更适合客服。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论