智能体的评测指标,最容易犯的错是只看最终答案对不对。真实生产里,过程指标比结果指标更能预测稳定性。
第一批指标是什么?
是任务完成率。给定一批标准任务,看多少能完整完成。这是最基础的一项。
但完成率要分难度统计。简单任务百分百,复杂任务三成,和全部七成,含义完全不同。
第二批指标是什么?
是过程正确率。步骤是否合理、工具调用是否必要、有没有绕路。
一个任务最终对了,但中间调了二十次工具,这在生产里不可接受。过程指标能暴露这类问题。
第三批指标是什么?
是成本与延迟。平均 token 消耗、平均耗时、尾部长尾。
只看平均会掩盖长尾。少数任务耗时十倍,用户体验就会崩。要看分位数,不只看均值。
第四批指标是什么?
是失败模式分布。失败是超时、是工具报错、是模型乱答、还是陷入循环。
分类统计后,你会发现问题集中在某一类。修那一类,比全面提升更有效。
怎么做评测集?
第一,从真实任务里抽样,不要自己编。编出来的任务往往太干净。
第二,覆盖边界。空输入、超长输入、格式错误、工具不可用,这些都要有。
第三,定期更新。模型和流程都在变,评测集不更新就会失真。
怎么防止指标造假?
人工抽检。随机抽一部分结果人工判定,看自动评分是否偏高。
对比基线。每次改动后和上一版对比,没提升就不上线。
记录版本。指标要绑定具体的模型版本、提示词版本、工具版本。否则数字没有意义。
怎么用指标做决策?
完成率低但过程正确,说明工具或环境有问题。过程乱但完成率高,说明运气成分大,不稳定。
成本高但完成率高,看业务价值是否覆盖成本。覆盖不了,就要优化流程。
最后一句:评测不是为了打分,是为了知道下一步改哪里。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论