大模型推理时计算：Test-time Compute 的理论与实践
Test-time Compute：推理 Scaling 的新范式 2026 年 AI 领域最重要的范式转变之一是 Test-time Compute（推理时计算）。如果说预训练 Scaling 是"让模型更聪明"，那 Test-time Compute 就是"给模型更多时间思考"。这一方向正在成为突破预训练数据墙的关键路径。 一、为什么需要 Test-time Compute 1.1 预训练的边际递减 传统 Scaling Laws 显示，预训练计算量增加 10 倍，损失仅降低约 17%。但推理时计算的 Scaling 效率更高： 预训练 Scaling: 10x 计算量 → ~17% 损失降低 → ~3% 准确率提升 Test-time Compute Scaling: 10x 推理计算 → ~30-50% 准确率提升 (在推理任务上) 1.2 人类的类比 人类面对简单问题可以快速回答，面对复杂问题需要更多思考时间。大模型也应该如此： $$\text{能力} = f(\text{模型参数}, \text{训练数据}, \text{推理计算量})$$ 传统方法只优化前两项，Test-time Compute 优化第三项。 1.3 OpenAI o1/o3 的启示 OpenAI o1（2024）和 o3（2025）证明了 Test-time Compute 的巨大价值： ...