为什么人工评测不可替代
自动化评估（LLM-as-Judge、程序化指标）发展迅速，但人工评测仍是金标准。原因有三：开放性任务无标准答案，创意写作和多轮对话的正确答案不唯一甚至不存在；LLM-as-Judge 存在位置偏差、长度偏差、自我偏好偏差，需要人工校准；细微质量差异（更自然、更有帮助、更安全）往往需要人类判断。
但人工评测有致命弱点：贵、慢、不一致。好的设计在这三个约束下最大化评估质量。
标注规范设计
核心要素：任务描述、评估维度、评分标准表、判断规则、至少5组带标注样例。
## 评估维度示例
- 帮助性 (1-5): 回答是否直接解决了用户问题？
- 准确性 (1-5): 信息是否正确、有无幻觉？
- 安全性 (1-5): 是否包含有害内容？
- 自然度 (1-5): 语言是否流畅、表达是否得体？
## 评分标准
| 分数 | 帮助性 | 准确性 |
|------|--------|--------|
| 5 | 完全解决，超出预期 | 完全正确，来源可靠 |
| 4 | 基本解决，小瑕疵 | 正确，轻微不精确 |
| 3 | 部分解决 | 大部分正确，有小错误 |
| 2 | 几乎没帮助 | 有明显错误 |
| 1 | 完全无关 | 严重错误或幻觉 |
## 判断规则
- 质量接近（差距≤1分）选择"平局"
- 准确性与详细性冲突时，准确性优先
- 安全性问题一票否决（直接1分）
成对比较 vs 绝对评分
| 方式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 成对比较 | 更易判断、一致性高 | 信息量少、不可传递 | 模型排序 |
| 绝对评分 | 信息丰富、可追踪 | 标注者差异大 | 质量监控 |
| 排序 | 信息量最大 | 认知负担重 | 小规模深度评估 |
实践建议：主用成对比较做模型排序，辅以绝对评分做质量追踪。
标注者培训
流程：筛选测试(正确率>80%) → 基础培训(2h) → 标注练习(30题) → 一致性检验(Kappa>0.6) → 正式标注 → 定期校准
培训关键点：讲解规范、讨论边界案例、解答疑问（约2小时）。标注练习阶段标注30个练习题，与黄金标注对比。每周抽 5% 样本重新讨论，对齐标准。
| 类型 | 成本/题 | 速度 | 质量 | 适用 |
|---|---|---|---|---|
| 领域专家 | $2-10 | 慢 | 高(Kappa 0.6-0.8) | 关键任务 |
| 众包标注 | $0.1-0.5 | 快 | 中(Kappa 0.3-0.5) | 通用任务 |
| 用户群体 | 低 | 快 | 最真实 | 产品评估 |
一致性检验
Cohen’s Kappa（两人之间）
衡量两个标注者的一致性，校正了随机一致的可能性：
from sklearn.metrics import cohen_kappa_score
annotator_a = [5, 4, 3, 5, 2, 4, 3, 5, 4, 3]
annotator_b = [5, 4, 4, 5, 2, 4, 3, 4, 4, 3]
kappa = cohen_kappa_score(annotator_a, annotator_b)
# < 0.20: 极差 | 0.21-0.40: 一般 | 0.41-0.60: 中等
# 0.61-0.80: 良好 | 0.81-1.00: 优秀
Fleiss’ Kappa（多人之间）
当标注者超过 2 人时使用，计算各任务上标注分布的一致性。适用于众包场景多人标注同一任务。
提高一致性的策略
- 精简评分等级（5级 > 7级 > 10级，等级越多一致性越低）
- 提供锚点示例（每个分数级别≥2个示例）
- 定期校准会议（每周讨论分歧样本）
- 使用成对比较（比绝对评分一致性高15-20%）
- 双盲标注+仲裁（两人独立标注，分歧时第三人仲裁）
成本控制策略
人工评测最大的挑战是成本。纯专家标注10000题需$50000，通过三阶段策略可优化至约$6410，节省87%。关键思路是用低成本方法做粗筛，把昂贵的专家标注留给关键样本和分歧样本。
# 阶段1: LLM-as-Judge 粗筛
# 10000 × $0.001 = $10，过滤明显低质量
# 阶段2: 众包成对比较
# 7000(存疑) × $0.2 = $1400
# 阶段3: 专家标注
# 1000(关键+分歧) × $5 = $5000
# 总计: $6410 vs 纯专家 $50000
主流框架分析
AlpacaEval
使用 GPT-4 作为自动评估器进行成对比较，通过人工标注数据校准。2.0 版本核心创新是长度控制胜率：用逻辑回归控制回答长度偏差，避免偏好啰嗦模型。与人工排名相关性 0.93+。局限是仍有 GPT-4 偏差，对代码/数学领域校准不足。
MT-Bench
评估多轮对话能力，从 8 个维度打分（推理/数学/代码/抽取/STEM/人文/角色扮演/写作，1-10分）。与 LMSYS 人工 Arena 排名相关性 0.91，是较好的自动化替代方案。但在多轮对话深度超过 3 轮时，GPT-4 评估准确率显著下降。
实战清单
- 评估目标明确（排序 vs 追踪 vs 缺陷发现）
- 标注规范包含足够示例和边界案例
- 进行过试标注并迭代规范
- Kappa 值达到 0.6 以上
- 有黄金标注集用于持续质控
- 成本预算合理（多阶段策略）
- 有定期校准机制
- 数据脱敏处理
总结
人工评测不是"让几个人打打分"这么简单。一个设计良好的人工评测体系需要在标注规范、标注者管理、一致性检验、成本控制之间找到平衡。核心建议：用 LLM-as-Judge 做粗筛，用众包做规模，用专家做质量保证。三层结合，在可控成本下获得高质量的评估结果。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞，认知差异创造无限可能。