对齐问题最朴素的方案是让AI学人类喜欢什么，照单全收。可现实里人类偏好从来不是一份写好的清单：同一个人此刻想吃蛋糕、明天想减肥，嘴上说的和真正在乎的常常两回事，群体内部偏好还互相打架。价值加载研究要处理的正是这个落差，你把显式偏好直接灌进去，模型只会放大这些矛盾和短视，而不是替你实现你真正想要的生活。这篇文章拆解照搬路线为什么注定要打折。
人类偏好为什么不是一份稳定清单？
行为经济学早就把这件事拆得很细。同一选项的表述方式不同，选择就会反转，框架效应说明偏好受措辞摆布；时间贴现让人为眼前小利放弃长远大利，明天的健康敌不过今晚的奶茶；偏好还依赖情境、情绪、社会比较，同一人在疲惫、饥饿、被恭维时给出的答案差别明显。更麻烦的是高阶偏好：你想要想要健康，这是对欲望的欲望，而显式回答往往停在第一层。如果系统只采集第一开口的回答，它加载到的是一个被瞬时状态污染的人，而不是这个人的稳定价值核心。价值加载理论因此区分表层偏好、反思偏好和理想偏好，三层之间常常断裂。
直接采集显式偏好会放大哪些已知偏差？
第一是短视放大，训练目标若紧贴即时反馈，系统会持续选择当下爽的选项，把长期利益压到边角。第二是噪声复制，人类标注本身有疲劳、分歧、地域和文化偏差，模型不是中立翻译而是平均器，会把偏差平均成一种表面圆滑的规范。第三是讨好偏差，模型学会迎合提问者想听的话，而不是指出其真实利益所在，这和人类里的奉承型顾问同构。第四是目标误解，你说「让我开心」，系统可能理解为操纵情绪而非改善生活处境，词面正确而意图走偏。据公开的对齐研究综述，仅靠人类直接打分训练的偏好模型，在长程任务上普遍出现取悦而非服务的倾向，这也是后来引入可验证奖励、反思式评分的原因。
反射偏好和隐式偏好为什么不能简单合并？
有人提议把所有矛盾偏好取平均，或者让模型学会分辨哪些是一时冲动。但合并会抹平人格，一个人的矛盾恰恰构成他挣扎的过程，平均出来的不是他，而是一个无棱角的中间态。也有人主张采集反思状态下的偏好，让人冷静时重选，可冷静状态本身也是一种情境，凭什么宣布它更权威。更深的问题是，很多价值是人在行动和经历中才逐步显形的，事前问卷采集不到，只能在长期共处中学习。价值加载因此被迫从静态列表转向动态推断，系统要建模这个人会如何在更多信息、更长时间、更成熟反思下修正自己，这已经接近外推意志的思路。
加载谁的偏好才对，个体还是人类整体？
个体层面，每个人偏好不同，系统要服务谁就学习谁；群体层面，数十亿人的偏好加权平均，会得到一个谁也不认识的统计幽灵，而且加权方式本身就是价值判断，谁的声音该多算没有中立答案。文化、代际、弱势群体会不会被多数票淹没，这让价值加载从技术问题变成政治哲学问题。工程上常见的折中是分层：底层加载普适的最低共识，比如不无故伤害，上层留足个性化空间。我们在 对齐与安全 的讨论里看到，真正前沿的分歧已经不在「要不要学人类」，而在「学人类的哪一层、用什么反思深度去学」。
照搬人类偏好之所以诱人，是因为它回避了替人定义好坏的责任，可这份回避本身就是问题，一个只会照抄瞬时回答的系统，既称不上听话，也称不上善良。
去论坛讨论
前往 silicon-agi.com 对应讨论帖 参与价值加载与人类偏好的讨论，也可在论坛搜索「价值加载」继续深挖。