Terminal Bench 4.1 的分数从上一代 Flash 档的百分之十八点二,跳到百分之五十七。这个跨度不是渐进优化,更像换了一条路线。要看懂它,得先知道这个基准在考什么。

Terminal Bench 考的是什么能力?

它考的不是知识问答,是在终端里把事做完。给一个任务描述,模型要自己敲命令、读输出、判断对错、修正参数,直到目标达成。

这类任务有几个特征。第一是多步,一步错后面全错。第二是有状态,上一条命令改变了环境,下一条要据此调整。第三是有噪声,输出里有大量无关信息。第四是有失败,命令会报错,模型要能读懂错误并重试。

这些特征组合起来,考的是执行力和韧性,不是记忆力。

从百分之十八到五十七意味着什么?

十八分意味着大部分任务做不完,模型能起步但收不了尾。五十七分意味着过半任务能闭环,从理解需求到验证结果全程走通。

这个水平已经越过实用门槛的一部分。过去这类任务只能靠人盯着,模型当助手;现在可以让模型独立跑一批标准任务,人只做验收。

但要注意五十七仍然不是高分。还有四成任务失败,失败的原因通常是长链任务中途偏航、环境异常没识别、或者对错误的恢复策略不对。这些恰恰是真实业务里最常见的坑。

这个提升是怎么来的?

三个方向。第一是训练数据的任务化。过去训练以文本为主,现在大量使用可执行环境生成的任务轨迹,模型见过完整的成功和失败过程。第二是奖励设计的细化。不只看最终对错,还看中间步骤是否合理,这让模型学会过程管理。第三是上下文管理的改进。长任务需要记住前面做过什么,压缩和检索策略很关键。

这三个方向都不是靠堆参数能解决的,所以这次的跳变更像是方法论的进展。

对做智能体的人有什么用?

第一,选型标准要改。不要只看问答准确率,要看长任务完成率。一个问答九十分但长任务二十分的模型,做智能体基本不可用。

第二,验收要分阶段。长任务不能只看最终结果,要在中间设检查点,否则错了也不知道错在哪。

第三,要接受失败率。五十七分意味着接近一半会失败,产品设计必须包含重试、回滚、人工兜底。把失败当异常而不是常态,系统就撑不住。

基准分数是路标,不是终点。真正的考验在你的业务环境里,那里的错误信息更乱,任务更长,没有人给你标准答案。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论