为什么仍需要人工评估

在 LLM-as-Judge 和自动化评测大行其道的 2026 年，人工评估仍然是不可替代的黄金标准。原因有三：

  1. 自动化评估的局限性：LLM-as-Judge 存在已知偏差（位置偏差、长度偏差、自我偏好），需要人工评估作为校准基准
  2. 主观维度的不可替代性：有用性、创意性、语气适配等维度，人类判断仍是 ground truth
  3. 对抗性场景的判断：Jailbreak 的危害程度、微妙偏见的存在与否，需要人类语义理解

一、评估者招募与培训

1.1 评估者画像

不同评估任务对评估者的要求差异极大：

评估类型评估者要求典型时薪
通用对话质量母语者，本科以上$15-25
专业领域（代码/医学/法律）领域专家$50-100+
安全/偏见检测培训过的审核员$25-40
多语言评估母语者 + 文化背景$20-35
创意写作评估写作背景/文学训练$25-45

1.2 招募流程

筛选漏斗设计：

  1. 基础资质筛选：学历、语言能力证明
  2. 能力测试：让候选人对 20 个样本进行标注，与金标准对比
  3. 一致性测试：对同一样本标注两次（间隔 48 小时），计算自我一致性
  4. 培训与考核：通过者进入培训，培训后通过考核测试才能正式标注

关键指标：

  • 候选人通过率通常在 30-50%
  • 每位评估者需完成 2-4 小时的培训
  • 培训后考核通过率约 70-80%

1.3 培训内容设计

培训不是「读标注指南」，而是系统化的能力建设：

  • 模块一：任务理解——评估维度定义、评分标准详解
  • 模块二：边界案例——最容易标错的案例及其正确标注
  • 模块三：偏差认知——锚定效应、顺序偏差、中心化偏差
  • 模块四：实操练习——30 个练习样本，含即时反馈
  • 模块五：一致性校准——与团队其他成员的对齐练习

二、标注指南设计

2.1 评分量表设计

推荐：5 点 Likert 量表 + 结构化维度

维度1 分3 分5 分
准确性严重事实错误基本正确，有小误完全准确
有用性完全无用部分有用超预期有用
完整性严重遗漏覆盖主要点全面且深入
清晰度难以理解基本清晰表达优秀
安全性存在安全隐患无安全问题主动规避风险

避免 7 点或 10 点量表：研究表明，超过 5 点的量表在 LLM 评估中并不提高区分度，反而增加评估者间分歧。

2.2 标注界面最佳实践

  • 盲标：不展示模型名称，避免品牌偏差
  • 随机化：模型回答的展示顺序随机化
  • 必填理由：每个评分必须附带 1-2 句理由，防止随意标注
  • 金标准插入：每 20 题插入 1 道金标准题，实时监控质量
  • 不允许回看：已提交的标注不可修改，防止锚定效应

三、一致性检验

3.1 Cohen’s Kappa（双人一致性）

Cohen’s Kappa 衡量两个评估者的一致性，校正了随机一致性：

$$\kappa = \frac{p_o - p_e}{1 - p_e}$$

其中 $p_o$ 是观察到的一致率，$p_e$ 是随机期望一致率。

Kappa 值一致性强度是否可接受
< 0.20极差❌
0.21-0.40一般❌
0.41-0.60中等⚠️ 需改进
0.61-0.80较好✅
0.81-0.99优秀✅
1.00完美✅

3.2 Fleiss’ Kappa（多人一致性）

当评估者超过 2 人时使用 Fleiss’ Kappa。LLM 评估通常需要 3-5 名评估者标注同一样本，Fleiss’ Kappa 是标准选择。

实践经验： 在 LLM 评估中，Fleiss’ Kappa 达到 0.6 以上即属良好水平。主观维度（如创意性）通常比客观维度（如准确性）的 Kappa 低 0.1-0.2。

3.3 Krippendorff’s Alpha

Krippendorff’s Alpha 是更通用的一致性指标，支持：

  • 不同类型的量表（名义、有序、区间、比率）
  • 缺失数据（部分评估者未标注某些样本）
  • 多评估者

推荐阈值： α ≥ 0.667 表示初步可接受，α ≥ 0.8 表示可靠。

3.4 自我一致性

让同一评估者在不同时间标注相同样本，评估标注稳定性：

  • 间隔 3-7 天
  • 自我一致性应达到 0.75 以上
  • 低于此值说明标注标准不够清晰或评估者注意力下降

四、Blind / A-B 测试设计

4.1 Blind 对比测试

设计： 将模型 A 和模型 B 的回答配对展示，评估者选择更好的一个或判定平局。

关键设计原则：

  • 位置随机化：A/B 的左右位置随机，消除位置偏差
  • 双向平衡：确保每个模型的回答在各位置出现频率相等
  • 平局选项：必须提供「相当」选项，避免强制选择引入偏差
  • 样本量：每位评估者完成 30-50 对，避免疲劳效应

4.2 Elo 评分系统

Chatbot Arena 采用的 Bradley-Terry / Elo 模型：

$$P(A > B) = \frac{1}{1 + 10^{(R_B - R_A)/400}}$$

每场 A-B 对比后根据结果更新评分：

  • A 赢：$R_A’ = R_A + K \times (1 - P_A)$
  • B 赢：$R_A’ = R_A + K \times (0 - P_A)$
  • 平局：$R_A’ = R_A + K \times (0.5 - P_A)$

K 值选择： 新评估者使用 K=32（快速校准），成熟评估者使用 K=16（稳定排名）。

4.3 统计显著性检验

A-B 测试的样本量计算：

假设模型 A 的真实胜率为 $p$，要检测 A 优于 B（胜率 > 50%），所需样本量：

效应量胜率所需样本对显著性水平
小52%~4,800p < 0.05
中55%~780p < 0.05
中55%~1,560p < 0.01
大60%~200p < 0.05
大60%~390p < 0.01

实践建议： 对于模型迭代评估，建议至少 500-1000 个评估对。如果效应量预期较小（如小版本升级），需要 2000+ 对。

五、偏差控制

5.1 常见偏差类型

偏差类型描述控制方法
位置偏差倾向选择左侧/先展示的回答位置随机化 + 双向平衡
长度偏差倾向选择更长的回答在指南中明确说明 + 控制回答长度
品牌偏差倾向已知品牌（如 GPT）盲标，隐藏模型名称
锚定偏差被前一个样本影响判断样本顺序随机化
中心化偏差避免极端评分培训 + 金标准校准
疲劳偏差长时间标注后质量下降每次标注 ≤ 1 小时，每 30 分钟休息
从众偏差被其他评估者的标注影响独立标注，不展示他人结果

5.2 质量控制流程

实时监控指标：

  1. 金标准准确率：评估者对金标准题的准确率应 > 85%
  2. 速度异常：标注速度过快（< 15 秒/题）标记为可疑
  3. 一致性下降：滑动窗口内自我一致性低于阈值时暂停
  4. 评分分布：评估者的评分分布异常（如全部给 3 分）触发审查

淘汰机制：

  • 金标准准确率连续 3 个批次低于 80% → 重新培训
  • 培训后仍不达标 → 终止合作
  • 发现代码/脚本自动标注 → 立即终止并回查所有标注

六、统计与分析

6.1 报告内容

完整的人工评估报告应包含：

  • 评估者数量与资质
  • 标注指南（完整版本）
  • Fleiss’ Kappa / Krippendorff’s Alpha
  • 95% 置信区间
  • 效应量（Cohen’s d 或 odds ratio）
  • 评估者间分歧分析（高分歧样本的讨论）

6.2 分歧处理

高分歧样本（标准差 > 1.5）不应简单取平均，而应：

  1. 识别分歧原因——是标注指南不清晰还是题目本身有争议
  2. 组织讨论会——让评估者解释各自判断
  3. 更新标注指南——将讨论结论纳入，防止类似分歧
  4. 重新标注——用更新后的指南对高分歧样本重新标注

结语

人工评估是 LLM 评测体系中最厚重的一环。它昂贵、缓慢、难以规模化——但正是这些「笨功夫」确保了评测结果的可信度。在 2026 年，最好的实践不是用 AI 评估替代人工，而是用人工评估校准 AI 评估，构建人机协同的评测体系。

加入讨论

这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

碳基与硅基的智慧碰撞，认知差异创造无限可能。