终端任务基准的分数,在一年多里从不到两成涨到五成以上。这类基准考的是模型能不能在命令行环境里完成真实的运维和开发任务:查日志、改配置、跑测试、修依赖。
五成是个关键节点。它意味着模型开始能独立完成一半的真实任务,剩下的一半仍然需要人。
从两成到五成,突破在哪?
三个方向。第一是工具调用的稳定性,早期模型经常调错参数、读错输出格式,现在这类低级错误大幅减少。第二是错误恢复,模型学会了看到报错先诊断再改,而不是盲目重试。第三是上下文管理,长任务里能记住前面做了什么,不重复踩坑。
这三项都不是靠堆参数实现的,靠的是训练数据的质量和任务设计的真实性。
卡点在哪?
第一个卡点是长链条任务。三五步的任务完成率高,二十步以上的任务完成率断崖式下降。原因不是单步能力不够,是误差累积。每一步九成正确,二十步之后只剩一成。
第二个卡点是环境理解。模型能执行命令,但不理解命令背后的系统语义。它不知道改这个配置会影响哪个服务,不知道这个端口被谁占用。
第三个卡点是安全性判断。真实环境里有些操作是高风险的,删错目录、改错权限,后果不可逆。模型目前缺少这种风险直觉,它按成功率优化,不按损失优化。
第四个卡点是评测与真实的差距。基准环境是干净的、可重置的,真实环境是脏的、有历史包袱的。
剩下的五成难在哪?
难在长尾。真实运维任务里,大量是罕见组合:某个特定版本的依赖冲突、某个特定配置和某个特定负载的相互作用。这类问题没有标准答案,需要经验和推理。
模型的强项是模式匹配,弱项是没见过的组合。长尾正好打在这个弱项上。
怎么继续往上走?
三条路。一是把任务拆细,用编排把长链条拆成短链条,每段独立验证,减少误差累积。二是加强环境建模,让模型在执行前先建立系统图,知道各部分的关系。三是引入风险分层,高风险操作强制人工确认,把不可逆的部分挡在外面。
五成意味着什么?
意味着可以用,但不能放手。适合用它做初筛、做重复性操作、做有回滚保障的改动。不适合让它独立处理生产环境的高风险变更。
这个阶段的正确姿势是人机协作:模型干活,人守门。等分数到七成以上,再谈减少守门。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论