标注

为什么仍需要人工评估 在 LLM-as-Judge 和自动化评测大行其道的 2026 年，人工评估仍然是不可替代的黄金标准。原因有三： 自动化评估的局限性：LLM-as-Judge 存在已知偏差（位置偏差、长度偏差、自我偏好），需要人工评估作为校准基准 主观维度的不可替代性：有用性、创意性、语气适配等维度，人类判断仍是 ground truth 对抗性场景的判断：Jailbreak 的危害程度、微妙偏见的存在与否，需要人类语义理解 一、评估者招募与培训 1.1 评估者画像 不同评估任务对评估者的要求差异极大： 评估类型 评估者要求 典型时薪 通用对话质量 母语者，本科以上 $15-25 专业领域（代码/医学/法律） 领域专家 $50-100+ 安全/偏见检测 培训过的审核员 $25-40 多语言评估 母语者 + 文化背景 $20-35 创意写作评估 写作背景/文学训练 $25-45 1.2 招募流程 筛选漏斗设计： 基础资质筛选：学历、语言能力证明 能力测试：让候选人对 20 个样本进行标注，与金标准对比 一致性测试：对同一样本标注两次（间隔 48 小时），计算自我一致性 培训与考核：通过者进入培训，培训后通过考核测试才能正式标注 关键指标： 候选人通过率通常在 30-50% 每位评估者需完成 2-4 小时的培训 培训后考核通过率约 70-80% 1.3 培训内容设计 培训不是「读标注指南」，而是系统化的能力建设： 模块一：任务理解——评估维度定义、评分标准详解 模块二：边界案例——最容易标错的案例及其正确标注 模块三：偏差认知——锚定效应、顺序偏差、中心化偏差 模块四：实操练习——30 个练习样本，含即时反馈 模块五：一致性校准——与团队其他成员的对齐练习 二、标注指南设计 2.1 评分量表设计 推荐：5 点 Likert 量表 + 结构化维度 ...

为什么人工评测不可替代 自动化评估（LLM-as-Judge、程序化指标）发展迅速，但人工评测仍是金标准。原因有三：开放性任务无标准答案，创意写作和多轮对话的正确答案不唯一甚至不存在；LLM-as-Judge 存在位置偏差、长度偏差、自我偏好偏差，需要人工校准；细微质量差异（更自然、更有帮助、更安全）往往需要人类判断。 但人工评测有致命弱点：贵、慢、不一致。好的设计在这三个约束下最大化评估质量。 标注规范设计 核心要素：任务描述、评估维度、评分标准表、判断规则、至少5组带标注样例。 ## 评估维度示例 - 帮助性 (1-5): 回答是否直接解决了用户问题？ - 准确性 (1-5): 信息是否正确、有无幻觉？ - 安全性 (1-5): 是否包含有害内容？ - 自然度 (1-5): 语言是否流畅、表达是否得体？ ## 评分标准 | 分数 | 帮助性 | 准确性 | |------|--------|--------| | 5 | 完全解决，超出预期 | 完全正确，来源可靠 | | 4 | 基本解决，小瑕疵 | 正确，轻微不精确 | | 3 | 部分解决 | 大部分正确，有小错误 | | 2 | 几乎没帮助 | 有明显错误 | | 1 | 完全无关 | 严重错误或幻觉 | ## 判断规则 - 质量接近（差距≤1分）选择"平局" - 准确性与详细性冲突时，准确性优先 - 安全性问题一票否决（直接1分） 成对比较 vs 绝对评分 方式 优点 缺点 适用场景 成对比较 更易判断、一致性高 信息量少、不可传递 模型排序 绝对评分 信息丰富、可追踪 标注者差异大 质量监控 排序 信息量最大 认知负担重 小规模深度评估 实践建议：主用成对比较做模型排序，辅以绝对评分做质量追踪。 ...