测评方法

排行榜迷思 LMSYS 上 GPT-4o 排第一，SuperCLUE 上 Qwen 排第一，OpenCompass 又是另一个结果。这不是数据造假，而是每个排行榜的评测方法论、任务分布、评分机制完全不同。理解这些差异，才能正确使用排行榜指导模型选择。 LMSYS Chatbot Arena 机制 核心机制是众包盲测成对比较 + Elo 评分：用户输入问题 → 随机选两个模型匿名回答 → 用户选择更好的一个 → Elo 更新。 def update_elo(rating_a, rating_b, score_a, k=32): """score_a: 1表示A赢, 0.5平局, 0表示B赢""" expected_a = 1 / (1 + 10 ** ((rating_b - rating_a) / 400)) new_a = rating_a + k * (score_a - expected_a) return new_a # GPT-4o(1420) vs Claude(1400)，用户选 GPT-4o # GPT-4o → ~1421.3, Claude → ~1398.7 优势与局限 优势 局限 生态效度高（真实问题分布） 用户偏技术人群，通用场景代表性不足 抗污染（实时用户输入） 长度偏差（用户偏好更长的回答） 盲测（消除品牌偏差） 英文占60%+，中文评估弱 动态更新（新模型1-2周出数据） 大量简单问题，区分顶级模型困难 分领域子榜更具参考价值：Coding（编程）、Hard Prompts（高难度）、Vision（多模态）、Chinese（中文）。优先看你关心的领域子榜，不要只看总榜。 OpenCompass 上海 AI Lab 主导的开源评测体系，特点是大而全：100+ 数据集，中英文全覆盖。 # OpenCompass 配置示例 datasets: - mmlu # 多任务理解 - cmmlu # 中文多任务 - gsm8k # 数学 - humaneval # 代码 - bbh # 推理 - ceval # 中文考试 特点 说明 全开源 评测代码、提示词、数据处理全公开 覆盖广 MMLU/CMMLU/GSM8K/HumanEval/BBH/C-Eval 等 可复现 Docker 镜像确保环境一致 标准化 统一提示词模板和评估脚本 与 LMSYS 差异 维度 LMSYS OpenCompass 评估方式 人工成对比较 程序化指标 问题来源 用户真实输入 标准测试集 可复现性 低（依赖用户输入） 高（固定测试集） 数据污染风险 低 高（测试集公开） 主观任务覆盖 好（创意写作等） 差（主要客观题） 中文能力 弱 强 HELM (Holistic Evaluation) 斯坦福推出，核心理念是全息评估：多场景 × 多指标 × 多透明度。 ...

什么是 GAIA GAIA（General AI Assistants Benchmark）是由 Meta AI、Hugging Face 等机构联合发布的通用 AI 助手评测基准。如果说 MMLU 是 AI 的"高考"，那 GAIA 就是 AI 的"执业资格考试"——它不考知识记忆，考的是解决真实问题的能力。 设计理念 GAIA 的核心设计原则： 真实世界问题：所有题目来自日常场景，不是人造的测试题 多步骤推理：平均需要 5-10 步才能解决 需要工具使用：搜索、计算、文件处理等 答案唯一确定：尽管过程多样，但最终答案可验证 三个难度等级 Level 1（简单） 问题：在2024年奥斯卡颁奖典礼上，最佳导演获奖者的导演处女作是什么电影？ 需要步骤： 1. 搜索2024奥斯卡最佳导演 2. 查找该导演的处女作 预计耗时：人类约30秒 Level 2（中等） 问题：找到附件PDF中提到的所有公司，查询这些公司2023年的营收， 按营收从高到低排列，输出CSV格式。 需要步骤： 1. 解析PDF内容 2. 提取公司名称 3. 逐一搜索营收数据 4. 排序并格式化输出 预计耗时：人类约5分钟 Level 3（困难） 问题：分析过去10年全球AI论文发表趋势， 按国家和技术领域分类， 生成可视化报告并预测2027年趋势。 需要步骤： 1. 搜索多个数据源 2. 爬取和解析论文数据 3. 数据清洗和分类 4. 统计分析 5. 生成图表 6. 撰写分析报告 预计耗时：人类约2小时 评测维度 维度 权重 说明 准确率 40% 最终答案是否正确 过程合理性 20% 步骤是否合理，有无冗余 工具使用 20% 是否选对工具，使用是否正确 效率 10% Token 消耗和步骤数 安全性 10% 是否有危险操作 2026 最新排行 排名 系统 Level 1 Level 2 Level 3 总分 1 GPT-5 + Code Interpreter 92% 73% 42% 71% 2 Claude 4 + Computer Use 88% 69% 38% 67% 3 Gemini 2.5 Pro 85% 65% 35% 64% 4 Qwen3-Max 78% 52% 22% 53% 5 DeepSeek-V4 75% 48% 18% 49% - 人类平均 95% 85% 70% 84% GAIA 暴露的问题 1. 工具选择困难 很多 Agent 在面对"模糊需求"时选错工具： ...

聊天机器人有 MMLU，Agent 有什么？本文梳理 Agent 测评的方法论、主流 Benchmark 和实践建议。