智能体的评测集,不能照搬模型评测的做法。模型评测看的是「答得对不对」,智能体评测要看的是「事办没办成」。两者的评价维度完全不同。

评测集该包含什么?

三类样本。正常样本,覆盖主要任务类型;边界样本,输入缺失、超长、含歧义;失败样本,历史上出过问题的案例。三类里,第三类最有价值,因为它来自真实故障。

评测该看哪些指标?

四个。任务完成率,是否达成了目标;步骤合理性,有没有绕远路或做多余操作;输出合规率,格式与内容是否符合要求;成本与耗时,是否在可接受范围。四个里,第一个最重要,但只看第一个会漏掉「办成了但代价很大」的情况。

样本怎么来?

三个来源。真实用户请求,脱敏后使用;人工构造,针对已知薄弱环节;线上 badcase,出过问题的都收进来。三个来源里,第一个最贴近实际,第三个最能暴露缺陷。

怎么避免评测集失效?

两条。第一,定期更新,业务变化后旧样本会失效;第二,保留一小部分固定样本作为基准,便于跨版本对比。两条里,第二条最关键,全换新样本就无法和历史版本比较。

评测怎么执行?

三条。第一,自动化跑,人工只看结果;第二,每条样本给明确判定标准,避免主观打分;第三,记录每次评测的完整结果,便于回溯。三条里,第二条最容易被忽略,标准不清,评测就变成拍脑袋。

评测结果怎么用?

三个用途。第一,判断改动能不能上线;第二,定位薄弱环节,指导优化方向;第三,给客户或管理层一个可解释的质量证明。三个用途里,第二个最实用,因为它把「感觉不好」变成了「哪一类任务不好」。

小团队要不要做评测集?

要,但可以很小。二十到五十条覆盖主要场景,就够支撑日常决策。关键是固定、可重复、有判定标准,而不是样本多。没有评测集,每次改动都是赌。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论