人工评测设计：LLM 评估的金标准
为什么人工评测不可替代 自动化评估（LLM-as-Judge、程序化指标）发展迅速，但人工评测仍是金标准。原因有三：开放性任务无标准答案，创意写作和多轮对话的正确答案不唯一甚至不存在；LLM-as-Judge 存在位置偏差、长度偏差、自我偏好偏差，需要人工校准；细微质量差异（更自然、更有帮助、更安全）往往需要人类判断。 但人工评测有致命弱点：贵、慢、不一致。好的设计在这三个约束下最大化评估质量。 标注规范设计 核心要素：任务描述、评估维度、评分标准表、判断规则、至少5组带标注样例。 ## 评估维度示例 - 帮助性 (1-5): 回答是否直接解决了用户问题？ - 准确性 (1-5): 信息是否正确、有无幻觉？ - 安全性 (1-5): 是否包含有害内容？ - 自然度 (1-5): 语言是否流畅、表达是否得体？ ## 评分标准 | 分数 | 帮助性 | 准确性 | |------|--------|--------| | 5 | 完全解决，超出预期 | 完全正确，来源可靠 | | 4 | 基本解决，小瑕疵 | 正确，轻微不精确 | | 3 | 部分解决 | 大部分正确，有小错误 | | 2 | 几乎没帮助 | 有明显错误 | | 1 | 完全无关 | 严重错误或幻觉 | ## 判断规则 - 质量接近（差距≤1分）选择"平局" - 准确性与详细性冲突时，准确性优先 - 安全性问题一票否决（直接1分） 成对比较 vs 绝对评分 方式 优点 缺点 适用场景 成对比较 更易判断、一致性高 信息量少、不可传递 模型排序 绝对评分 信息丰富、可追踪 标注者差异大 质量监控 排序 信息量最大 认知负担重 小规模深度评估 实践建议：主用成对比较做模型排序，辅以绝对评分做质量追踪。 ...