面对人类偏好矛盾、短视、自欺的问题,CEV给出了一个优雅的转向:别问人现在想要什么,去外推人如果掌握全部相关信息、变得更理性、彼此更接近之后会想要什么,让AI去实现那个潜在的理想意志。这套连贯外推意志是早期对齐思想里影响很大的蓝图,它的吸引力在于绕开了「替人规定善」的伦理负担,可它每一个理想化条件,落地时都变成了新的工程和哲学难题。
CEV的完整设想是怎样推导出来的?
核心命题可以拆成几个操作:让人变得更了解事实、更一致、在更多反思下重估、人与人之间的理解与共情更强,然后看他们的意志汇聚成什么,AI去推动这个共同方向。它刻意不去指定一套写死的道德教条,而是让价值从被改良的人类自身里长出来,避免设计者把私人价值观强加给未来。耶德科夫斯基的原始表述里还强调,外推不是把人变成另一种生物,而是把人本来就有的理性潜能展开,保留人格方向而不是替换人格。这套设想的温柔之处在于,它承诺给你一个「更好的你」会认同的结果,而不是一个替你做主的外人。
外推过程本身藏着哪些无法中立的选择?
第一道难题是外推规则。什么叫更理性,一致性按什么标准,信息补到什么程度,每一步规则本身都预设了价值立场。你以为在做中立的数学展开,其实选择展开方向的手已经带着判断。第二道是分叉问题:一个人在不同信息条件下会走上不同人生,外推不是一条确定轨道,而是一片可能性树,取哪条分支、按什么权重合成,没有唯一答案。第三道是人的多元性,把所有人外推后能否汇聚本身就存疑,有些价值差异可能在完美理性下也不收敛,强行合成出的东西可能谁都不认。CEV用「不要实现、只推动趋向」这种弱表述回避了合成主体的具体操作,但这也让方案停在愿景层面。
现实里有哪些局部CEV的雏形?
工程界没有照搬完整CEV,但吸收了它的局部思想。反思式偏好训练让模型先自我批评再回答,相当于在单轮内做小型自我外推;放大法让弱AI辅助人类做更充分的推理再形成判断,是把信息和理性条件外置到流程里;民主聚合加理性审议的机制设计,尝试在群体层面模拟更知情的选择。这些做法都只解决CEV的一个切面,没有解决整树外推和多元汇聚。据公开的对齐路线梳理,CEV更多作为价值哲学的参照系被引用,而不是一条能直接编码的算法,原因正是外推的不可计算性。支持者认为这是方向问题而非操作问题,先立方向再逐步找算法,反对者则认为不可计算的理想化会被工程悄悄替换成设计者偏好。
CEV会不会最后变成设计者意志的包装?
这是最深的担忧。当完整外推无法实现时,实际落地必然要由人选定近似规则、截断可能性树、决定哪些价值值得保留,而这些决策出自训练团队的文化、时代和处境。那么所谓外推出来的理想意志,很可能变成这个团队价值观的精致包装,只是借了「更完美的你」的名义。CEV原意想避开的价值强加,可能在近似实现中换个壳回来。我们在 对齐与安全 的讨论里看到,近年前沿团队更倾向于可验证、可审计的具体目标,而不是宏大外推蓝图,部分原因就是CEV这类方案难以监督:你无法检查一个理想化外推是不是走偏了。
CEV的价值在于它指出了方向,真正想要的从来不是当下的人,而是被完善之后的人;但方向越理想化,近似实现里夹带的设计者私货就越难察觉,这是它迷人又危险的地方。
去论坛讨论
前往 silicon-agi.com 对应讨论帖 参与外推意志CEV可行性的讨论,也可在论坛搜索「外推意志」继续深挖。