价值对齐是当下最热的工程议题之一。做法是收集人类偏好,训练模型按偏好行事,用奖励模型约束输出。
道德发生学问的是另一个问题:道德是怎么在人身上长出来的?它关心的是起源,不是校准。
这两件事经常被混为一谈,仿佛把模型调得符合人类偏好,就等于给了它道德。这个等式不成立。
对齐解决的是什么问题?
解决的是行为偏差。模型输出有害内容、捏造事实、越权操作,这些是行为层面的问题,用偏好数据和规则可以压制。
它不解决的是判断依据。当两条规则冲突时该服从哪一条?当规则没有覆盖的情形出现时该怎么推?当服从规则会伤害具体的人时该怎么办?这些需要一套能生成判断的原则,不是一张偏好清单。
道德发生学提供了什么?
提供了三层结构。第一层是具体规范,来自家庭和社群的教养。第二层是原则,从具体规范里抽象出来,比如不伤害、守信、公正。第三层是反思平衡,当原则之间冲突时,通过反复调整让整体自洽。
关键是第三层。没有第三层,前两层只是教条。有了第三层,人才能在没见过的情况里做出判断。
模型有第三层吗?
目前没有。模型有的是第一层的模仿,加第二层的部分抽象。当两条原则冲突时,它的处理方式通常是折中表述,而不是真正做取舍。折中看起来稳妥,实际是把决策推回给用户。
更麻烦的是,偏好数据本身是互相矛盾的。同一批标注者,对同一个情境在不同语境下会给出不同偏好。训练出来的模型就学会了在不同提示下切换立场,且不自知。
那能不能训练第三层?
理论上可以,做法是构造冲突情境,要求模型给出取舍并说明理由,再用一致性做奖励。这条路线叫宪法式对齐,已经有实践。
难点在于一致性的定义。一个模型可以在所有情境里坚持同一条原则,这叫一致,但可能就是错的坚持。也可以在情境变化时合理调整,这叫灵活,但也可能是墙头草。区分这两者需要判断力,而判断力正是要培养的东西。
结论是什么?
对齐是必要的,但它是下限,不是上限。它能让模型不闯祸,不能让它会判断。
真正接近道德发生学的做法,是给模型一套可追溯的原则体系,加上一个能处理原则冲突的推理框架,再加上持续的一致性检验。这三样合起来,才勉强对应人类道德成长的骨架。
而这件事的难点不在技术,在于我们自己也说不清那套原则该是什么。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论