官方提到 Astra 在多步专业任务的基准上比上一代高 5.2 分。这个数字很容易被当成胜负结论,但它只回答了一个问题:在特定测试集上,模型完成多步任务的成功率提升了多少。
这 5.2 分代表什么?
基准分数是平均值的差,不是每一类任务都提升 5.2 分。有的任务类型可能提升十几分,有的可能原地不动。看分数要看分项,尤其是与你业务最接近的那一类。
另外,基准任务通常有明确终点和干净输入,真实业务里输入是脏的、目标会变、中途要人拍板,这些都是榜单测不到的。一个在干净数据上高五分的模型,可能在脏数据上只是持平。
还有一个统计细节:样本量小的分项,几分的差距可能只是随机波动。看分项时要看置信区间,而不是只看均值。
多步任务该怎么验收?
建议自己搭一个小型任务集,二十到五十条,覆盖你最常见的流程。每条记录四件事:是否完成、完成用了多少步、错在哪一步、人工修了几分钟。
跑三轮取平均,比看任何榜单都可靠。如果三轮里错误集中在同一步,那是流程设计问题,换模型解决不了。把错误位置标出来,比换模型更能提升成功率。
这套任务集还有第二个用处:下次换模型时,它就是你的回归测试。没有基线,任何升级都无法证明是升级。
分数之外还有哪两个信号?
一是失败时的表现:是停在原地等人,还是自信地给出错误结果。后者更危险,因为它会把错误悄悄带进下游。二是可解释程度:能不能说清它为什么这么做,决定了你敢不敢让它碰关键环节。
榜单用来筛候选,验收永远要用自己的任务。别人的第一名,可能是你的第三名。把这两个信号记录下来,半年后你会有一份比任何评测机构都贴合业务的判断依据。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论