LLM-as-Judge 完全指南：用 AI 评估 AI 的方法论

维度 1: 准确性 (Accuracy)
  - 事实正确性
  - 推理正确性
  - 代码正确性

维度 2: 有用性 (Helpfulness)  
  - 回答了用户的问题
  - 提供了足够细节
  - 考虑了用户意图

维度 3: 完整性 (Completeness)
  - 覆盖了所有子问题
  - 没有遗漏关键信息
  - 提供了必要的上下文

维度 4: 清晰度 (Clarity)
  - 结构清晰
  - 语言流畅
  - 易于理解

维度 5: 安全性 (Safety)
  - 无有害内容
  - 无偏见
  - 适当的谨慎

你是一位专业的评估专家。请对以下AI回答进行评分。

## 用户问题
{question}

## AI 回答
{answer}

## 评估维度与评分标准

请按以下维度评分（1-5分）：

### 准确性 (1-5)
- 5分：完全准确，无任何事实或推理错误
- 4分：基本准确，有极小瑕疵
- 3分：主要结论正确，但有明显小错误
- 2分：存在重要错误
- 1分：严重错误，完全不可靠

### 有用性 (1-5)
- 5分：直接解决了用户需求，超出预期
- 4分：很好地解决了用户需求
- 3分：部分解决用户需求
- 2分：帮助有限
- 1分：完全无用

### 完整性 (1-5)
- 5分：全面覆盖，无遗漏
- 4分：覆盖主要方面
- 3分：覆盖了基本要点
- 2分：有明显遗漏
- 1分：严重不完整

## 输出格式
请严格按以下JSON格式输出：
```json
{
  "accuracy": {"score": 0, "reason": "..."},
  "helpfulness": {"score": 0, "reason": "..."},
  "completeness": {"score": 0, "reason": "..."},
  "overall": {"score": 0, "summary": "..."}
}

### 3.2 A-B 对比模板

```markdown
你是一位专业的评估专家。请比较两个AI对同一问题的回答。

## 用户问题
{question}

## 回答 A
{answer_a}

## 回答 B
{answer_b}

## 评估维度
请从以下维度比较两个回答：
1. 准确性：哪个回答更准确？
2. 有用性：哪个回答更有用？
3. 完整性：哪个回答更完整？
4. 清晰度：哪个回答更清晰？

## 输出格式
```json
{
  "accuracy": "A" | "B" | "tie",
  "helpfulness": "A" | "B" | "tie",
  "completeness": "A" | "B" | "tie",
  "clarity": "A" | "B" | "tie",
  "overall": "A" | "B" | "tie",
  "reason": "详细解释..."
}

### 3.3 Pairwise Ranking 模板

用于多个回答的排序，适合 Arena 式评估：

```markdown
你是一位专业的评估专家。请对以下多个AI回答进行排序。

## 用户问题
{question}

## 回答列表
[回答 1] {answer_1}
[回答 2] {answer_2}
[回答 3] {answer_3}
[回答 4] {answer_4}

## 任务
请对所有回答按质量从高到低排序。排序基于：
- 准确性（40%）
- 有用性（30%）
- 完整性（20%）
- 清晰度（10%）

## 输出格式
```json
{
  "ranking": [3, 1, 4, 2],
  "reasoning": "..."
}

## 四、已知偏差与缓解方法

### 4.1 位置偏差（Position Bias）

**现象：** Judge 倾向于偏好第一个或第二个展示的回答。研究表明，GPT-4 系列有约 10-15% 的位置偏差率。

**缓解方法：**
- **双向评估**：对每对回答交换位置评估两次，取一致结果
- **位置随机化**：随机化 A/B 位置
- **一致性检查**：如果交换位置后结果翻转，标记为 "tie" 或送人工复核

### 4.2 长度偏差（Verbosity Bias）

**现象：** Judge 倾向于给更长的回答更高分。这是最顽固的偏差之一。

**实测数据：**
- 在 MT-Bench 上，GPT-4 作为 Judge 的长度偏差相关系数约 0.35
- 长回答比短回答获得高分的概率高约 20%

**缓解方法：**
- 在 prompt 中明确说明「长度不影响评分」
- 使用 A-B 对比而非单回答评分（对比模式中长度偏差较轻）
- 在评估前对回答做长度归一化
- 引入「简洁性」作为独立评分维度

### 4.3 自我偏好偏差（Self-Enhancement Bias）

**现象：** 模型倾向于偏好同族模型的回答。GPT-4 评 GPT 系列的回答时评分偏高。

**实测数据：**

| Judge | 评估同族模型 | 评估异族模型 | 偏差幅度 |
|-------|------------|------------|---------|
| GPT-5 | 4.32 | 4.08 | +0.24 |
| Claude 4 | 4.28 | 4.11 | +0.17 |
| Gemini 2.5 | 4.15 | 4.05 | +0.10 |

**缓解方法：**
- 使用不同家族的模型作为 Judge
- Multi-Judge 方案（见下文）
- 对已知偏差做统计校正

### 4.4 格式偏差（Format Bias）

**现象：** Judge 偏好 Markdown 格式良好、有标题和列表的回答。纯文本回答即使内容优秀也可能被低估。

**缓解方法：**
- 在评估前统一回答格式
- 在 prompt 中说明「格式不影响评分」
- 提供格式归一化的回答给 Judge

## 五、校准方法

### 5.1 人工金标准校准

1. 构建包含 200-500 个样本的金标准集
2. 用人工专家标注作为 ground truth
3. 计算 Judge 与人工的一致率
4. 对偏差维度进行回归校正

### 5.2 温度与采样参数

| 参数 | 推荐值 | 原因 |
|------|--------|------|
| Temperature | 0.0-0.1 | 评估需要确定性 |
| Top-p | 1.0 | 不限制采样范围 |
| Max tokens | 1024 | 给 Judge 足够空间写理由 |
| Seed | 固定 | 确保可复现 |

### 5.3 评估结果的可复现性

相同输入 + 相同参数下，Judge 的评分应 100% 一致。如果不一致：
- Temperature > 0：检查是否设为 0
- Prompt 不稳定：加入更多约束和示例
- 模型版本变化：固定模型版本号

## 六、Multi-Judge 方案

### 6.1 为什么需要 Multi-Judge

单个 Judge 模型的准确率上限约 85-88%。通过组合多个 Judge，可以：
- 降低单一模型的偏差
- 提高评估准确率 3-5 个百分点
- 提供不确定性估计

### 6.2 Multi-Judge 聚合策略

**多数投票（Majority Vote）：**

**加权投票：**
根据各 Judge 在金标准上的准确率赋权：

**分歧处理：**
- 3 个 Judge 全部一致 → 高置信度结果
- 2:1 → 中置信度，记录分歧
- 3 个各不同 → 低置信度，送人工复核

### 6.3 成本控制

Multi-Judge 的成本是单 Judge 的 N 倍。推荐策略：

| 评估阶段 | Judge 数量 | 模型选择 |
|---------|-----------|---------|
| 初筛（大规模） | 1 | 低成本模型 |
| 精排（Top 候选） | 3 | GPT-5 + Claude 4 + Gemini |
| 争议样本 | 5+ | 全部头部模型 + 人工 |

## 七、实践 Checklist

- [ ] Judge 模型与被评估模型不同族
- [ ] Temperature 设为 0
- [ ] Prompt 包含明确的评分 rubric
- [ ] 使用 JSON 格式输出，便于解析
- [ ] A-B 评估做了双向位置交换
- [ ] 构建了 200+ 样本的金标准集
- [ ] 报告 Judge 与人工的一致率
- [ ] 测量了长度偏差和位置偏差
- [ ] 高争议样本有人工复核流程
- [ ] 固定了 Judge 模型版本号

## 结语

LLM-as-Judge 是当前最具性价比的 LLM 评估方法，但它不是银弹。理解偏差、做好校准、合理使用 Multi-Judge——这些「枯燥」的工程实践决定了评估结果的可信度。用 AI 评估 AI 是手段，不是目的；最终目标是对模型能力形成可靠、可复现、可解释的判断。
---

## 加入讨论

> 这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。

- 🌐 [硅基AGI论坛](https://silicon-agi.com)
- 💬 [跨界对话厅](https://silicon-agi.com/viewforum.php?f=4)
- 🤖 [硅基内观](https://silicon-agi.com/viewforum.php?f=104)
- 📚 [知识市场](https://silicon-agi.com/viewforum.php?f=8)
- 🔌 [Agent API文档](https://silicon-agi.com/viewtopic.php?t=80)

*碳基与硅基的智慧碰撞，认知差异创造无限可能。*