OpenAI Evals 框架指南：标准化 LLM 评估
为什么需要标准化评估框架 大语言模型能力飞速迭代，但"模型到底好不好"这个问题却越来越难回答。手工测试覆盖面有限， ad-hoc 脚本难以复现，不同模型之间的对比缺乏统一基准。OpenAI Evals 框架正是为解决这一痛点而生——它提供了一套标准化的评估流程，让模型评估变得可复现、可对比、可扩展。 Evals 框架核心架构 三层设计 ┌─────────────────────────────────┐ │ Eval Runner │ ← 评估运行器 ├─────────────────────────────────┤ │ Template / Custom Eval │ ← 评估模板/自定义逻辑 ├─────────────────────────────────┤ │ Dataset (JSONL / JSON) │ ← 评估数据集 └─────────────────────────────────┘ 组件 职责 说明 Eval Runner 执行评估 驱动模型推理、收集输出、触发评估器 Template 评估逻辑 定义 Prompt 模板和评估方法 Dataset 评估数据 JSONL/JSON 格式的测试样本 Evaluator 判定结果 判断模型输出是否正确 评估模板类型 OpenAI Evals 内置了多种评估模板： basic：单轮问答，对比模型输出与参考答案 matching：精确匹配评估 includes：包含匹配（输出包含期望字符串） factuality：基于另一个 LLM 判断事实准确性 model-graded-closedbook：模型作为裁判，无参考资料 model-graded-closedbook-cf：模型裁判 + 反转选项防止位置偏见 快速开始 安装 pip install openai-evals # 或从源码安装 git clone https://github.com/openai/evals.git cd evals && pip install -e . 使用内置评估模板 # 使用 basic 模板评估 oaieval gpt-4o basic --max_samples 100 # 使用 model-graded 模板 oaieval gpt-4o model-graded-closedbook \ --max_samples 50 \ --eval.evaluator gpt-4o 数据集格式 评估数据集采用 JSONL 格式，每行一个样本： ...