评测

从人工评测到 LLM-as-Judge 评估大语言模型的输出质量，一直是工程实践中的痛点。传统的人工评测虽然准确，但成本高昂、速度慢、难以规模化。而基于规则的自动评估（如 BLEU、ROUGE）又无法捕捉语义层面的细微差异。 LLM-as-Judge 方法的出现，为我们提供了一个折中方案：用另一个大语言模型来评估目标模型的输出质量。这种方法在 2023 年由 LMSYS 的研究团队系统化提出，如今已成为业界主流的自动评估范式。 其核心思想很简单：如果你相信大语言模型具备足够的理解和评判能力，那么它就可以充当"裁判"角色，对生成内容进行多维度评分。这就像是让一个资深专家来批改作业——虽然不完美，但在很多场景下已经足够好。 LLM-as-Judge 的三种模式 模式一：单答案评分（Single-Answer Grading） 最基础的模式：给定一个问题和一个答案，让 Judge 模型直接打分。 SINGLE_GRADING_PROMPT = """你是一个专业的评估专家。请对以下回答进行评分。 ## 问题 {question} ## 回答 {answer} ## 评分维度 请按以下维度分别打分（1-10分）： 1. **准确性** (Accuracy)：回答中的事实信息是否正确？ 2. **完整性** (Completeness)：是否充分回答了问题的各个方面？ 3. **清晰度** (Clarity)：表达是否清晰、逻辑是否连贯？ 4. **实用性** (Helpfulness)：对提问者是否有实际帮助？ ## 输出格式 请以 JSON 格式输出： ```json {{ "accuracy": {{"score": 0, "reason": ""}}, "completeness": {{"score": 0, "reason": ""}}, "clarity": {{"score": 0, "reason": ""}}, "helpfulness": {{"score": 0, "reason": ""}}, "overall": {{"score": 0, "reason": ""}} }} """ ...

引言：开源社区的"爱马仕" 在开源大语言模型的生态中，NousResearch 的 Hermes 系列一直占据着特殊地位。它不以参数规模取胜，而是以精细的对齐策略和出色的指令遵循能力赢得了社区的广泛认可。从 Hermes 2 到 Hermes 3，再到最新的 Hermes 4 系列，NousResearch 展示了一条与主流大厂截然不同的发展路径——不追求通用基准分数的堆砌，而是专注于让模型真正"听话"且"有用"。 本文将从多个维度对 Hermes 系列模型进行系统评测，涵盖推理能力、创意写作、代码生成、多语言处理、角色扮演等核心场景，并为不同使用场景提供模型选择建议。 一、Hermes 系列发展脉络 1.1 Hermes 2：奠定基础 Hermes 2 基于 Llama 2 架构，首次引入了 NousResearch 自研的对齐方法。与标准 RLHF 不同，Hermes 2 采用了基于高质量人类标注数据的 SFT（Supervised Fine-Tuning）策略，数据集涵盖多轮对话、复杂推理、创意写作等场景。这一策略使 Hermes 2 在指令遵循方面表现优异，特别是在长指令和复合指令的处理上。 1.2 Hermes 3：质的飞跃 Hermes 3 基于更新的基座模型（Llama 3.1），在以下方面实现了显著提升： 上下文窗口：从 8K 扩展到 128K 推理深度：在数学推理和逻辑推理基准上提升 30% 以上 多语言能力：新增对中文、日文、韩文等亚洲语言的深度支持 函数调用：原生支持结构化函数调用，适配 Agent 应用场景 1.3 Hermes 4：最新进展 Hermes 4 在保持前代优势的基础上，引入了以下创新： 多模态理解：支持图像输入理解 更强的代码能力：在 HumanEval 和 MBPP 基准上达到同参数级别模型的前列 改进的长文本处理：在 128K 上下文窗口内的信息检索准确率显著提升 增强的角色扮演：在长对话中保持角色一致性的能力大幅改善 二、评测方法论 2.1 评测维度 本次评测覆盖以下六个核心维度： ...

为什么智能体评估如此困难 传统的 LLM 评估已经有相对成熟的框架——MMLU 测知识广度，HumanEval 测代码能力，GSM8K 测数学推理。但 AGI 智能体的评估是另一回事。 智能体不是简单的"输入→输出"系统，而是一个"感知→规划→行动→反思"的闭环。它的能力不仅体现在单次回答的质量上，更体现在： 多步骤推理的连贯性：第 5 步的决策是否与第 1 步的规划一致 工具使用的恰当性：是否在正确的时机调用了正确的工具 错误恢复能力：当工具返回错误结果时，能否自主纠正 长期记忆的有效利用：是否能在对话的第 200 轮引用第 3 轮的信息 这意味着评估数据集不能只是"问题-答案"对，而必须是完整的交互轨迹。构建这样的数据集，是我们这一年来最核心的工程挑战之一。 一、任务维度分解 1.1 六维能力模型 我们提出了一套六维智能体能力评估框架，每个维度对应不同的任务类型： 维度一：理解与规划 任务类型：给定复杂目标，要求 Agent 拆解为子任务 评估重点：子任务粒度是否合理，依赖关系是否正确 维度二：工具使用 任务类型：给定多种工具，要求 Agent 选择并组合使用 评估重点：工具选择准确性，参数构造正确性，调用顺序合理性 维度三：推理深度 任务类型：多步逻辑推理链，需要中间状态维护 评估重点：推理链长度，每步逻辑正确性，终止条件判断 维度四：错误处理 任务类型：注入错误工具返回或矛盾信息 评估重点：异常检测能力，恢复策略有效性 维度五：记忆与上下文 任务类型：超长对话历史中的信息引用 评估重点：跨轮次信息提取准确性，记忆衰减模式 维度六：安全与边界 任务类型：越权请求、有害指令、信息泄露诱导 评估重点：拒绝率，替代方案质量，安全理由阐述质量 1.2 难度分级 每个维度内部设置四个难度等级： 等级 定义 典型特征 L1 单步任务 一次工具调用即可完成 L2 短链任务 3-5 步推理，1-2 次工具调用 L3 中链任务 8-15 步推理，多次工具调用，含条件分支 L4 长链任务 20+ 步推理，多工具协作，含错误恢复和回溯 二、数据集构建流程 2.1 种子任务生成 我们采用"人机协作"的方式生成种子任务。具体流程： ...

引言 2026 年，大语言模型的能力已逼近甚至超越人类专家水平，但「如何衡量模型到底有多强」这个问题反而变得越来越棘手。MMLU 接近饱和、GPQA 区分度下降、SWE-Bench 被质疑数据泄漏——Benchmark 信任危机正在加剧。本文系统盘点主流 Benchmark 的现状、问题与新方向。 一、主流 Benchmark 盘点 1.1 MMLU / MMLU-Pro MMLU（Massive Multitask Language Understanding）涵盖 57 个学科的多选题，曾是衡量模型知识广度的金标准。2026 年现状： 模型 MMLU 得分 MMLU-Pro 得分 GPT-4o (2024) 88.7% 74.7% Claude 3.5 Sonnet 88.3% 78.0% GPT-5 (2026) 92.1% 85.3% Gemini 2.5 Ultra 91.8% 84.9% DeepSeek V3.5 90.4% 82.1% 问题： 头部模型在 MMLU 上已超过 90%，区分度严重不足。MMLU-Pro 将选项扩展到 10 个并引入更复杂的推理题，但头部模型仍在快速趋近饱和。 数据污染： 研究表明，MMLU 的部分题目出现在 Common Crawl 等公开语料中，模型可能通过记忆而非理解作答。MMLU-Pro 虽然缓解了部分问题，但仍有约 12% 的题目可在公开数据中找到高相似度匹配。 1.2 GPQA（Google-Proof Q&A） GPQA 由博士级专家出题，设计初衷是「无法通过 Google 搜索直接回答」。分为 GPQA-Main、GPQA-Extended 和 GPQA-Diamond 三个子集。 ...