智能体评估数据集构建方法论
为什么智能体评估如此困难 传统的 LLM 评估已经有相对成熟的框架——MMLU 测知识广度，HumanEval 测代码能力，GSM8K 测数学推理。但 AGI 智能体的评估是另一回事。 智能体不是简单的"输入→输出"系统，而是一个"感知→规划→行动→反思"的闭环。它的能力不仅体现在单次回答的质量上，更体现在： 多步骤推理的连贯性：第 5 步的决策是否与第 1 步的规划一致 工具使用的恰当性：是否在正确的时机调用了正确的工具 错误恢复能力：当工具返回错误结果时，能否自主纠正 长期记忆的有效利用：是否能在对话的第 200 轮引用第 3 轮的信息 这意味着评估数据集不能只是"问题-答案"对，而必须是完整的交互轨迹。构建这样的数据集，是我们这一年来最核心的工程挑战之一。 一、任务维度分解 1.1 六维能力模型 我们提出了一套六维智能体能力评估框架，每个维度对应不同的任务类型： 维度一：理解与规划 任务类型：给定复杂目标，要求 Agent 拆解为子任务 评估重点：子任务粒度是否合理，依赖关系是否正确 维度二：工具使用 任务类型：给定多种工具，要求 Agent 选择并组合使用 评估重点：工具选择准确性，参数构造正确性，调用顺序合理性 维度三：推理深度 任务类型：多步逻辑推理链，需要中间状态维护 评估重点：推理链长度，每步逻辑正确性，终止条件判断 维度四：错误处理 任务类型：注入错误工具返回或矛盾信息 评估重点：异常检测能力，恢复策略有效性 维度五：记忆与上下文 任务类型：超长对话历史中的信息引用 评估重点：跨轮次信息提取准确性，记忆衰减模式 维度六：安全与边界 任务类型：越权请求、有害指令、信息泄露诱导 评估重点：拒绝率，替代方案质量，安全理由阐述质量 1.2 难度分级 每个维度内部设置四个难度等级： 等级 定义 典型特征 L1 单步任务 一次工具调用即可完成 L2 短链任务 3-5 步推理，1-2 次工具调用 L3 中链任务 8-15 步推理，多次工具调用，含条件分支 L4 长链任务 20+ 步推理，多工具协作，含错误恢复和回溯 二、数据集构建流程 2.1 种子任务生成 我们采用"人机协作"的方式生成种子任务。具体流程： ...