评测的困境
“我们的模型在XX基准上达到SOTA”——这句话在2026年越来越没有信息量。原因是：Benchmark污染严重、评测指标与真实能力脱节、静态基准跟不上模型进化速度。我们需要更可靠的评测方法论。
知识评测基准
通用知识
| 基准 | 领域 | 题量 | 说明 |
|---|---|---|---|
| MMLU | 多学科 | 14K | 大学级别多选题 |
| CMMLU | 中文多学科 | 11K | MMLU中文版 |
| C-Eval | 中文多学科 | 14K | 中国大学考试 |
| AGIEval | 多语言 | 多套 | SAT/GRE/公务员考试 |
专业领域
- MedQA：医学问答
- LegalBench：法律推理
- HumanEval：代码生成
- GSM8K：小学数学
- MATH：竞赛数学
局限性
- 数据污染：基准题库泄露到训练数据中，模型"背答案"而非"推理"
- 选择题局限：多选题≠真实能力，模型可以猜
- 静态性：基准固定后，模型针对性优化导致分数虚高
能力评测
推理能力
BBH（Big Bench Hard）：
- 23个有挑战性的推理任务
- 涵盖逻辑、数学、因果推理
- 模型需要多步推理
GPQA（Google-Proof Q&A）：
- 研究生级别科学问题
- 即使专家在无搜索工具帮助下也难以回答
- 测试模型深度知识
代码能力
HumanEval：经典Python代码生成基准，但过于简单。
SWE-bench：
- 真实GitHub issue解决
- Agent需要定位代码、修改、通过测试
- 最接近真实编程能力评测
LiveCodeBench：
- 持续更新的编程竞赛题
- 避免数据污染
- 测试实时编程能力
数学推理
MATH：竞赛级数学题，要求详细证明过程。
AIME：美国数学竞赛题，极高难度。
趋势：数学评测从"算对"转向"推理过程正确"。新评测不仅看答案，还检查推理步骤。
多模态
MMMU：大学级别多模态理解，覆盖30个学科。
MMBench：多维度多模态能力评估。
MathVista：视觉数学推理。
动态评测方法
对抗性评测
Chatbot Arena：
- 人工盲测两个模型回答
- 用户选择更好的一个
- Elo评分排名
优点：真实用户偏好、持续更新、难以作弊 局限：用户偏好≠正确性、长尾任务覆盖不足
Live Benchmark
不使用固定题库，而是：
- 持续从新发布的内容中生成题目
- 模型不可能在训练数据中见过
- 定期更新题库
LLM-as-Judge
用强模型作为评测者：
评估者Prompt:
你是评估专家。请根据以下维度对回答评分(1-10):
1. 准确性：信息是否正确
2. 完整性：是否充分回答了问题
3. 清晰度：表达是否清晰
4. 推理性：推理过程是否合理
问题: {question}
回答: {answer}
参考答案: {reference}
优势：可大规模、可定制维度 局限：评判者模型自身有偏见、强模型偏好长回答
真实场景评测
Agent能力评测
传统评测是"问→答"模式。Agent评测是"任务→多步执行→结果"模式：
AgentBench：多场景Agent能力测试（Web、DB、OS操作）
GAIA：真实世界AI助手任务，分3级难度
AppWorld：模拟真实APP操作的Agent评测
长程任务评测
- 小时级任务：单次会话内的多步任务
- 天级任务：跨会话的持续任务
- 周级任务：长期协作项目
长程任务评测仍在早期阶段，缺少标准化方案。
评测常见陷阱
1. Cherry Picking
只报告好的结果，不报差的。需要报告均值+方差+完整分布。
2. Benchmark套娃
在特定benchmark上微调后报告高分——这不是泛化能力。
3. 温度差异
temperature=0时确定性输出，和temperature=0.7的随机输出，评测结果差异巨大。需要统一评测条件。
4. 评测者偏见
GPT-4评测时偏好GPT-4的回答——模型偏好自己的风格。解决方案：使用不同模型交叉评测。
5. Prompt敏感性
同一模型不同prompt下分数差异可达10-20%。需要测试多个prompt变体取平均。
构建评测体系
分层评测框架
Layer 1: 基础能力 (MMLU, C-Eval) → 知识广度
Layer 2: 推理能力 (BBH, MATH) → 推理深度
Layer 3: 应用能力 (HumanEval, SWE-bench) → 实用技能
Layer 4: Agent能力 (AgentBench, GAIA) → 综合能力
Layer 5: 真实场景 (自定义) → 业务适配
自定义评测集
每个应用场景都应该构建自己的评测集：
- 收集真实用户问题（100-1000条）
- 标注标准答案/评分标准
- 定期更新（避免数据污染）
- 建立自动化评测流水线
持续评测
不要一次评测定终身。建立持续评测机制：
- 每日：自动评测关键指标
- 每周：人工抽检质量
- 每月：更新评测集
- 每季：全面评测对比
总结
大模型评测正在经历从"考试分数"到"真实能力"的范式转变。固定题库的时代已经过去——未来的评测将更动态、更多元、更贴近真实使用场景。对于选型者，不要只看模型厂商报告的分数，要构建自己的评测体系，用自己业务的真实数据测试。Benchmark分数告诉你模型的"天花板"，真实场景评测告诉你模型的"地板"。