E2E

引言：为什么 Agent 测试如此困难 传统软件测试建立在确定性基础上：给定输入 A，期望输出 B。但 AI Agent 的行为具有非确定性——相同的输入可能产生不同的输出，这取决于 LLM 的采样策略、上下文长度、甚至 API 端的模型更新。 这种非确定性让很多团队在 Agent 测试面前束手无策，要么完全放弃测试，要么依赖人工抽检。然而，随着 Agent 系统在生产环境中的广泛部署，缺乏自动化测试的风险正在指数级增长——一个未经验证的 Agent 行为变更可能导致大规模的用户体验灾难。 本文将系统性地介绍 Agent 测试的方法论和实践框架，帮助你建立可信赖的 Agent 测试体系。 一、Agent 测试的独特挑战 1.1 非确定性 LLM 的温度（temperature）、top-p 采样、以及模型版本的更新都会导致输出变化。传统的精确匹配断言在 Agent 测试中几乎无法使用。 1.2 多步骤执行 Agent 不是简单的输入-输出函数，而是包含多个推理步骤、工具调用和决策点的复杂流程。一个用户请求可能涉及 5-20 个内部步骤，每个步骤都可能出错。 1.3 外部依赖 Agent 通常依赖外部工具和 API（搜索、数据库、第三方服务），这些依赖使得测试环境搭建复杂化。 1.4 评估标准模糊 对于很多 Agent 任务，“正确答案"并不唯一。一个好的回答可能有多种表述方式，一个成功的任务可能有多种执行路径。 二、测试金字塔：Agent 版 借鉴传统软件测试的测试金字塔，我们构建了 Agent 专属的测试层次结构： /\ / \ / E2E\ ← 场景测试（少量，高价值） /------\ / 集成 \ ← 工具+Agent 交互测试（适量） /----------\ / 单元 \ ← 工具函数、提示词、解析器（大量） /--------------\ 2.1 单元测试层 单元测试关注 Agent 系统中可独立测试的最小单元。 ...