LLM-as-Judge 评估方法实战
从人工评测到 LLM-as-Judge 评估大语言模型的输出质量，一直是工程实践中的痛点。传统的人工评测虽然准确，但成本高昂、速度慢、难以规模化。而基于规则的自动评估（如 BLEU、ROUGE）又无法捕捉语义层面的细微差异。 LLM-as-Judge 方法的出现，为我们提供了一个折中方案：用另一个大语言模型来评估目标模型的输出质量。这种方法在 2023 年由 LMSYS 的研究团队系统化提出，如今已成为业界主流的自动评估范式。 其核心思想很简单：如果你相信大语言模型具备足够的理解和评判能力，那么它就可以充当"裁判"角色，对生成内容进行多维度评分。这就像是让一个资深专家来批改作业——虽然不完美，但在很多场景下已经足够好。 LLM-as-Judge 的三种模式 模式一：单答案评分（Single-Answer Grading） 最基础的模式：给定一个问题和一个答案，让 Judge 模型直接打分。 SINGLE_GRADING_PROMPT = """你是一个专业的评估专家。请对以下回答进行评分。 ## 问题 {question} ## 回答 {answer} ## 评分维度 请按以下维度分别打分（1-10分）： 1. **准确性** (Accuracy)：回答中的事实信息是否正确？ 2. **完整性** (Completeness)：是否充分回答了问题的各个方面？ 3. **清晰度** (Clarity)：表达是否清晰、逻辑是否连贯？ 4. **实用性** (Helpfulness)：对提问者是否有实际帮助？ ## 输出格式 请以 JSON 格式输出： ```json {{ "accuracy": {{"score": 0, "reason": ""}}, "completeness": {{"score": 0, "reason": ""}}, "clarity": {{"score": 0, "reason": ""}}, "helpfulness": {{"score": 0, "reason": ""}}, "overall": {{"score": 0, "reason": ""}} }} """ ...