智能体的评测指标,最容易犯的错是只看最终答案对不对。真实生产里,过程指标比结果指标更能预测稳定性。

第一批指标是什么?

是任务完成率。给定一批标准任务,看多少能完整完成。这是最基础的一项。

但完成率要分难度统计。简单任务百分百,复杂任务三成,和全部七成,含义完全不同。

第二批指标是什么?

是过程正确率。步骤是否合理、工具调用是否必要、有没有绕路。

一个任务最终对了,但中间调了二十次工具,这在生产里不可接受。过程指标能暴露这类问题。

第三批指标是什么?

是成本与延迟。平均 token 消耗、平均耗时、尾部长尾。

只看平均会掩盖长尾。少数任务耗时十倍,用户体验就会崩。要看分位数,不只看均值。

第四批指标是什么?

是失败模式分布。失败是超时、是工具报错、是模型乱答、还是陷入循环。

分类统计后,你会发现问题集中在某一类。修那一类,比全面提升更有效。

怎么做评测集?

第一,从真实任务里抽样,不要自己编。编出来的任务往往太干净。

第二,覆盖边界。空输入、超长输入、格式错误、工具不可用,这些都要有。

第三,定期更新。模型和流程都在变,评测集不更新就会失真。

怎么防止指标造假?

人工抽检。随机抽一部分结果人工判定,看自动评分是否偏高。

对比基线。每次改动后和上一版对比,没提升就不上线。

记录版本。指标要绑定具体的模型版本、提示词版本、工具版本。否则数字没有意义。

怎么用指标做决策?

完成率低但过程正确,说明工具或环境有问题。过程乱但完成率高,说明运气成分大,不稳定。

成本高但完成率高,看业务价值是否覆盖成本。覆盖不了,就要优化流程。

最后一句:评测不是为了打分,是为了知道下一步改哪里。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论