Agent 做得好不好，不能靠「演示时很惊艳」来判断。演示是精心挑过的成功路径，真实环境里它会在边界 case 上翻车。评测的价值，就是把这种「看起来行」变成「量化地知道行到哪一步、差在哪」。对智能体而言，难点在于它是多步决策系统，单看最终答案对错远远不够，还要看过程是否绕远、是否乱调工具、是否在该停的时候停不下来。建立评测体系，是把 Agent 从玩具推到生产的必经一步。

该用哪些指标，而不是只看答对率？

答对率是底线，但不是全部。过程类指标更能暴露问题：任务完成率（是否真的办完而非给个话术）、工具调用次数与正确率、是否误调危险工具、平均轮次与耗时、成本（token 消耗）。对多步任务还要算「路径效率」——同样办成一件事，它绕了几圈。把这些指标按任务类型分组，你会发现模型在问答类任务上光鲜，一到需要多工具编排就露馅。指标要分层：结果分看行不行，过程分看贵不贵、稳不稳、安不安全。

评测集从哪来，又怎么避免「考什么练什么」？

评测集最忌讳只用出题人脑补的理想 case。更好的来源是三类：真实用户会话里挑出的失败片段、人工构造的边界与对抗 case、以及从日志里聚类出的高频任务。跑完一轮要归档，形成回归集——每次改提示词、换模型、加工具，都重跑同一套，防止旧问题修好新问题冒出来。还要警惕过拟合：如果你对着评测集反复调提示词，分数会涨但真实表现未必涨。做法是留一套不公开的盲测集，定期用它验证。评测不是为了拿高分，是为了在你看不见的地方替你兜底。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论