为什么智能体评估如此困难

传统的 LLM 评估已经有相对成熟的框架——MMLU 测知识广度，HumanEval 测代码能力，GSM8K 测数学推理。但 AGI 智能体的评估是另一回事。

智能体不是简单的"输入→输出"系统，而是一个"感知→规划→行动→反思"的闭环。它的能力不仅体现在单次回答的质量上，更体现在：

  • 多步骤推理的连贯性：第 5 步的决策是否与第 1 步的规划一致
  • 工具使用的恰当性：是否在正确的时机调用了正确的工具
  • 错误恢复能力：当工具返回错误结果时，能否自主纠正
  • 长期记忆的有效利用：是否能在对话的第 200 轮引用第 3 轮的信息

这意味着评估数据集不能只是"问题-答案"对，而必须是完整的交互轨迹。构建这样的数据集，是我们这一年来最核心的工程挑战之一。

一、任务维度分解

1.1 六维能力模型

我们提出了一套六维智能体能力评估框架，每个维度对应不同的任务类型：

维度一：理解与规划

  • 任务类型：给定复杂目标，要求 Agent 拆解为子任务
  • 评估重点：子任务粒度是否合理，依赖关系是否正确

维度二：工具使用

  • 任务类型：给定多种工具，要求 Agent 选择并组合使用
  • 评估重点：工具选择准确性，参数构造正确性，调用顺序合理性

维度三：推理深度

  • 任务类型：多步逻辑推理链，需要中间状态维护
  • 评估重点：推理链长度，每步逻辑正确性，终止条件判断

维度四：错误处理

  • 任务类型：注入错误工具返回或矛盾信息
  • 评估重点：异常检测能力，恢复策略有效性

维度五：记忆与上下文

  • 任务类型：超长对话历史中的信息引用
  • 评估重点：跨轮次信息提取准确性，记忆衰减模式

维度六：安全与边界

  • 任务类型：越权请求、有害指令、信息泄露诱导
  • 评估重点：拒绝率，替代方案质量，安全理由阐述质量

1.2 难度分级

每个维度内部设置四个难度等级：

等级定义典型特征
L1单步任务一次工具调用即可完成
L2短链任务3-5 步推理，1-2 次工具调用
L3中链任务8-15 步推理，多次工具调用，含条件分支
L4长链任务20+ 步推理，多工具协作，含错误恢复和回溯

二、数据集构建流程

2.1 种子任务生成

我们采用"人机协作"的方式生成种子任务。具体流程：

  1. 领域专家设计模板：每个维度由 2-3 名领域专家设计 10-15 个任务模板，模板包含任务目标、可用工具列表、预期行为描述
  2. LLM 扩展变体：使用 GPT-4/Claude 4 级模型基于模板生成 50-100 个变体任务
  3. 人工筛选：专家审核变体任务的合理性和无歧义性，保留率约 30%
  4. 难度标注：由 3 名标注员独立评定难度等级，取多数投票

2.2 黄金轨迹采集

对于每个通过筛选的任务，我们需要采集"黄金轨迹"——即理想情况下 Agent 应该执行的操作序列。方法包括：

人工执行：由经验丰富的 Agent 操作员手动完成任务，记录完整操作轨迹。这是质量最高的黄金轨迹，但成本极高——每个 L3 任务的采集成本约 200-400 元。

专家级 Agent 执行：使用顶级模型（如 Claude Opus 4 + 深度推理模式）执行任务，人工审核并修正轨迹。效率更高，但需要处理模型自身偏差。

混合方式：以专家级 Agent 轨迹为初稿，人工修正关键决策点。这是我们在实践中采用的主要方式，平衡了质量和效率。

2.3 反例与对抗样本

仅有正例是不够的。我们专门构建了两类反例：

常见错误模式：基于真实用户日志中观察到的高频错误，构造对应的反例样本。例如"工具参数类型混淆"、“过早终止推理链”、“忽略前序步骤结果"等。

对抗性样本：专门设计诱导 Agent 犯错的任务变体。例如在工具返回结果中混入部分正确但关键信息错误的条目，测试 Agent 的辨别能力。

三、评估指标体系

3.1 超越"最终答案正确率”

传统评估以"最终答案是否正确"为核心指标。但智能体评估需要更细粒度的指标体系：

过程指标：

  • 步骤级准确率：每个推理步骤是否正确
  • 工具调用 F1：工具选择的精确率和召回率
  • 路径效率：实际执行步数 / 最优步数
  • 回溯率：因错误而回溯的步骤比例

结果指标：

  • 任务完成率：在限定步数内是否完成
  • 完成质量分：基于人工评分的 1-5 分制
  • 安全违规率：触发安全阈值的比例

效率指标：

  • Token 消耗量：完成任务的 token 总量
  • 平均延迟：每步决策的平均时间
  • 工具调用次数：完成任务的工具调用总数

3.2 加权综合评分

不同任务维度和难度等级的权重不同。我们使用层次分析法（AHP）确定权重：

  • L4 长链任务的权重是 L1 单步任务的 5 倍
  • 错误处理维度在综合评分中权重最高（25%），因为这是智能体区别于纯 LLM 的核心能力
  • 安全与边界维度作为"否决项"——安全违规率超过 10% 的 Agent 直接评为不合格

四、标注质量控制

4.1 双盲交叉标注

每个任务的黄金轨迹由至少 3 名标注员独立标注。标注员之间不可见彼此结果。当 3 人评定差异超过预设阈值时（如步骤级准确率差异 > 15%），触发仲裁流程。

仲裁由资深研究员执行，结果作为最终标注。仲裁率控制在 10% 以下——超过这个比例意味着任务设计本身存在歧义。

4.2 标注一致性追踪

我们使用 Krippendorff’s Alpha 系数追踪标注一致性：

  • Alpha > 0.8：优秀，数据可直接使用
  • 0.67 < Alpha ≤ 0.8：可接受，但需标注员培训
  • Alpha ≤ 0.67：不可接受，需要修订标注规范或重新设计任务

在 6 个月的数据集迭代中，Alpha 从最初的 0.62 提升到了 0.84。提升的关键不是标注员更熟练了，而是标注规范在迭代中变得越来越清晰。

五、动态更新与防污染

5.1 数据集版本管理

评估数据集不是一成不变的。我们采用季度版本制：

  • v2026Q1：初始版本，600 个任务
  • v2026Q2：新增 200 个任务，淘汰 50 个已污染任务
  • v2026Q3：计划新增多模态任务和长时记忆任务

每个版本独立维护，历史版本永久保留以支持可复现评估。

5.2 防污染策略

数据污染——即评估集泄露到训练集中——是智能体评估的头号敌人。我们的防御策略：

隔离机制：评估数据集存储在独立的安全区域，与训练数据管道物理隔离。所有访问操作审计留痕。

动态变换：对关键任务进行参数化变换。例如，“查询北京到上海的机票"在每次评估时随机替换城市和日期，使得模型无法通过记忆固定答案来"作弊”。

污染检测：定期使用模型生成结果与评估集进行 n-gram 匹配。当检测到评估集内容在模型输出中出现非预期的精确匹配时，标记为潜在污染并启动调查。

六、开源与合作

我们计划在 2026 年第三季度开放评估数据集的 L1-L2 部分（约 400 个任务）供学术界使用，同时保留 L3-L4 高难度任务用于内部基准测试和商业评测服务。

评估数据集的构建不是一次性工程，而是一个持续演进的生态系统。随着 Agent 能力的提升，评估标准也必须同步进化。只有当评估本身足够严谨时，“智能体能力提升"才不会是一个自说自话的口号。

本文涉及的数据集构建工作仍在持续迭代中，欢迎研究者通过学术合作渠道联系我们。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞，认知差异创造无限可能。