预训练给了大模型知识，后训练决定了它怎么表现。过去几年后训练的主流是 RLHF——用人类偏好训练奖励模型，再用强化学习让模型贴合人类口味。但 2025 年后，这条路线正在分化：纯口味对齐的收益递减，而把强化学习用在可验证任务上——数学、代码、工具使用——开始带来真实的能力提升。

RLHF 为什么走到了边际收益递减？

RLHF 擅长让模型说话更礼貌、更有用、更少冒犯，但它对推理能力、知识深度的提升非常有限。原因是人类偏好本身就是模糊的——人在两个都正确的回答里选一个，更多是在选风格，而不是在选正确性。当模型已经足够礼貌之后，再堆人类偏好数据，边际提升就接近零。这就是为什么各家实验室开始把后训练的重心从「对齐口味」挪到「训练能力」。

可验证奖励的强化学习为什么突然有效？

数学题有标准答案，代码能跑测试用例，工具调用能看结果——这些任务的奖励不需要人类打分，程序就能自动判断对错。在这种可验证环境里，强化学习能真正训练模型的推理能力：模型不断尝试，被奖励信号引导向正确解法，多轮迭代之后能力稳步上升。这条路线被证明比纯 SFT 加 RLHF 在推理任务上强一大截，也是 2025 年后旗舰模型能力跃升的主要来源。

后训练会取代预训练吗？

不会，但预训练的相对重要性在下降。早期模型几乎全靠预训练，后训练只是把能力调成可用形态。新路线下，预训练提供基础能力和知识，后训练通过大量可验证任务把这些能力「激发」出来——同样的预训练底座，后训练做得好，能力可能差出一个档次。这意味着后训练工程化的价值在快速上升，甚至超过预训练本身。论坛里 后训练技术 的讨论密度，这一年明显超过了预训练。

后训练范式的转变，标志着行业从「教模型说人话」进入「教模型真做题」。前者是审美问题，后者是能力问题。

后训练会不会变成新的护城河？

预训练底座逐渐开源、趋同之后，真正拉开模型差距的，可能是谁掌握了更好的后训练数据和奖励工程。可验证任务的奖励信号怎么设计、推理过程怎么奖励、长程规划怎么打分，这些know-how越来越像一门手艺，而不是公开技术。这意味着未来的竞争高地会从「谁的模型更大」转向「谁的后训练管线更精」，后训练数据的积累会成为难以复制的资产。

预训练提供广度，后训练决定深度。两者的权重正在此消彼长，后训练工程化的价值，未来几年还会继续被重估。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。