LLM-as-Judge 完全指南：用 AI 评估 AI 的方法论
引言 LLM-as-Judge 指使用大语言模型作为评估器来评判其他模型的输出质量。这一方法在 2024 年随 GPT-4 评审能力成熟而大规模采用，到 2026 年已成为行业标准实践。但「用 AI 评估 AI」并非无懈可击——偏差、成本、校准都是必须严肃对待的问题。 一、Judge 模型选择 1.1 Judge 模型能力要求 一个合格的 Judge 模型需要具备： 指令遵循能力：严格按照评估 rubric 打分，不自由发挥 长文本理解：能处理长回答和复杂 rubric 领域知识：对被评估内容有足够理解 评分稳定性：对相似输入给出一致的评分 抗偏见能力：不受回答长度、格式、风格等表面因素干扰 1.2 主流 Judge 模型对比（2026） Judge 模型 评分准确率 成本/1K 评估 延迟 推荐场景 GPT-5 88% $0.12 中 通用评估首选 Claude 4 Opus 87% $0.15 中 代码/推理评估 Gemini 2.5 Ultra 84% $0.08 低 大规模评估 GPT-4o 82% $0.05 中 预算有限 DeepSeek V3.5 79% $0.02 低 开源/低成本 Llama 3.3 70B 74% 自部署 低 数据隐私场景 准确率指与人类专家判断的一致率，基于 MT-Bench 和 Arena-Hard 基准。 ...