可验证奖励

过去一年，行业学会了一件事：让模型在回答前多想一会儿，正确率就能涨。这就是 test-time compute scaling。但到 2026 年，这条曲线开始显出边际递减的形状。 多想一步，到底值多少钱？ 以 DeepSeek-V4.1-Flash 为例，Artificial Analysis 估它完成一项基准任务平均约 0.03 美元。如果把思维链拉长三倍，单任务成本可能逼近 0.1 美元甚至更高，而正确率的提升往往从「每多花一倍算力涨 10 分」衰减到「涨 2 分」。HLE 36.8 这个分数也在提醒：即便无限延长思考，最难的开放题仍不是「想久一点」就能解决的。 为什么思考越长，边际收益越递减？ 第一，可验证领域红利已被吃掉。数学、代码这类能机器验证的任务，长思维链带来的提升最明显，但早期低垂果实已摘完。 第二，错误会随步数累积。思考链越长，中间某一步走偏后自我纠正的概率越低，长度反而成了幻觉的温床。 第三，算力不是免费的。多花的每一秒都占用 GPU，在高并发场景里，等待首 token 的用户不会为你的「深度思考」买单。 不堆思考时长，那该怎么提正确率？ 不要无脑开最长思考预算。按任务分级：客观事实问答走最短；多步规划给中等预算；数学证明才开放长链路。并把「验证器」接进来——模型想完先自检，再决定是否继续想，比线性拉长更省。 test-time compute 走到 2026 年该怎么定位？ test-time compute 没有失效，但它从「越多越好」进入了「精准投放」阶段。2026 下半年的竞争，是看谁能用最少的思考步数拿到足够的正确率。 有没有一个粗算公式帮你找到性价比拐点？ 粗略估计，正确率随思考时长的提升类似一条对数曲线：前 50% 的算力贡献大部分增益，后 50% 只换来零头。工程上可以这样做灰度：对同一批请求，分别用短、中、长三档思考预算跑，画出正确率与成本的散点。你要找的是曲线斜率开始变平的那个拐点——在拐点之前加预算值得，过了拐点就该停。多数团队会发现自己长期在拐点右侧白烧钱。把预算从最长档降到拐点档，正确率几乎不掉，账单却能砍掉一大块。这才是 test-time compute 时代真正的省钱姿势。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：测试时计算

10 月 6 日 OpenAI 放出数百份数学手稿的当天，并没有回避一个尴尬事实：它撤回了 3 份因符号错误出问题的手稿，并修订了 14 份。Implicator 在报道中直接引用官方说法——未形式化的结果「可能有问题」。这个当天纠错的动作，比成果本身更值得停下来想一想：它揭示了一条正在成型的训练路线，即让模型在「可被验证」的压力下，长出机器层面的自我批评。 奖励信号决定模型成为谁 强化学习的基本逻辑是：什么行为被奖励，模型就重复什么。过去模型被奖励「看起来像对的」——语言流畅、论证像模像样，于是它学会了一本正经地胡说。这就是幻觉的训练学根源。 可验证奖励换了一套打分规则：在数学这类领域，答案对不对不看像不像，而看 Lean 类型检查通不通过。模型发现，与其写一段漂亮但不可验的论证，不如写一段哪怕朴素但能被编译器确认的推导。奖励信号一变，行为就跟着变。 自我批评是被结构逼出来的 这背后发生了一件有意思的事：模型开始在产出前自我校验。因为它知道，交上去过不了检查，奖励就是零。于是它学会在内部先跑一遍「审稿」，先自己抓符号错误，再交卷。 这不是模型突然有了良心，而是一种被训练出来的德性： 谦卑：它不再对自己的第一版结论深信不疑，而是默认它可能有错。 严谨：它偏好可被检验的表述，而不是含糊其辞。 可纠错：错了就改，因为改正的成本远低于硬扛。 有意思的是，这些品质在人类科学家身上，我们称之为「学术美德」。 保留与边界 必须说清：可验证奖励只在「有客观判据」的领域成立。伦理、审美、政策判断没有 Lean 式的编译器，模型在这些地方仍然会嘴硬。但数学领域的这个样本至少证明了一件事——求真不是靠叮嘱模型「你要诚实」训出来的，而是靠一个它无法欺骗的打分器，结构性地逼出来的。 道德教诲没用，制度设计有用。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：可验证奖励与求真