推理：大模型的最后一块拼图
大模型在知识广度上已经超越人类，但在复杂推理上仍然薄弱。简单的数学题、多步逻辑推理——这些对人类不难的任务，对LLM却是挑战。思维链（Chain of Thought, CoT）技术的出现，正在改变这一局面。
CoT技术谱系
基础CoT
让模型在给出答案前生成推理过程：
Prompt: "让我们一步步思考"
Output:
1. 首先，我们需要...
2. 根据已知条件...
3. 所以答案是...
原理： LLM的自回归生成机制下，中间token作为"工作记忆"，帮助模型逐步组织推理。不生成中间token时，模型需要在一次前向传播中完成所有推理——负担太重。
Zero-shot CoT： 在prompt末尾加"Let’s think step by step"，无需示例。
Few-shot CoT： 提供带推理过程的示例，效果更好。
Self-Consistency
对抗LLM生成随机性的方法：
1. 用同一prompt生成K条CoT推理（temperature=0.7）
2. 提取每条推理的最终答案
3. 取多数票作为最终答案
适用：数学计算、逻辑推理等有明确答案的任务。 效果：通常比单次CoT提升5-15%准确率。 成本：推理成本变为K倍。
Tree of Thoughts (ToT)
CoT是线性推理，ToT是树形推理：
[初始状态]
/ | \
[方案A] [方案B] [方案C]
/ \
[细化] [细化]
|
[评估: 好/坏]
|
[继续/回溯]
流程：
- 在每个节点生成多个候选方案
- 用评估函数给每个方案打分
- 选择最优分支继续（或BFS/DFS搜索）
- 遇到死路时回溯
适用：规划、博弈、创意任务。 局限：计算量大（多次LLM调用），延迟高。
Graph of Thoughts (GoT)
将推理建模为图而非树：
- 节点可以有多个前驱
- 支持推理路径的合并和分支
- 更灵活的推理结构
ReAct（推理+行动）
结合推理和工具使用：
Thought: 用户想知道2025年AI市场规模，我需要搜索数据
Action: search("2025 AI market size")
Observation: 根据Gartner, 2025年AI市场规模约$3000亿
Thought: 我还需要增长率数据
Action: search("AI market growth rate")
Observation: 年增长率约37%
Thought: 可以计算了
Final Answer: 2025年AI市场规模约3000亿美元，年增长率37%...
ReAct是Agent框架的基础——推理决定行动，行动获取信息，信息辅助推理。
推理时Scaling
核心思想
不增加模型参数，而在推理时投入更多计算：
传统: 大模型 + 简单生成 → 答案
新范式: 小模型 + 大量推理 → 更好的答案
实现方式
方式一：长CoT
- 模型生成超长推理链（数千token）
- 在推理过程中自我检查、纠正
- 类似人类做数学题时的"草稿纸"
方式二：多次采样
- 生成多个推理路径
- 投票或交叉验证
- 用 verifier 模型筛选最佳推理
方式三：搜索
- 在推理空间中搜索
- Best-First Search / MCTS
- 用价值函数指导搜索方向
o系列模型
OpenAI的o1/o3模型是推理时Scaling的代表：
用户问题 → [长推理阶段(隐藏)] → [最终答案]
推理阶段可能:
- 生成数千token的推理
- 自我检查和修正
- 尝试多种方法
- 在方法间切换
关键发现：o1模型在数学竞赛（AIME）、编程（Codeforces）上的表现超过了很多更大的传统模型。
推理时Scaling的经济学
传统大模型:
训练成本: $100M (一次)
推理成本: $0.01/次
每次质量: 85分
推理时Scaling:
训练成本: $10M (一次)
推理成本: $0.50/次
每次质量: 88分
权衡:
用户数量 < X → 推理Scaling更经济
用户数量 > X → 训练大模型更经济
(X取决于具体成本结构)
CoT训练方法
CoT数据生成
方法1: 人工标注
- 专家写出推理过程
- 质量最高，成本最高
方法2: 模型合成
- 用强模型生成CoT
- 质量过滤后作为训练数据
- 成本低，规模大
方法3: 搜索+筛选
- 模型生成多条推理路径
- 保留得到正确答案的路径
- 训练模型学会高效推理
过程奖励模型（PRM）
对推理的每一步打分，而非只看最终结果：
推理:
Step 1: "首先计算..." → PRM: 0.9 (正确)
Step 2: "然后乘以..." → PRM: 0.8 (基本正确)
Step 3: "所以结果..." → PRM: 0.3 (错误!)
传统: 只看最终答案 → 错
PRM: 发现Step 3出错 → 定位错误
PRM可以用于：
- 训练时指导推理质量
- 推理时筛选好的推理路径
- 实时发现推理错误
CoT的局限
长推理链错误累积
5步推理，每步95%准确率:
整体准确率 = 0.95^5 = 77%
10步推理，每步95%准确率:
整体准确率 = 0.95^10 = 60%
推理越长，累积错误越多。
“推理"还是"模式匹配”？
CoT的"推理"是否是真正的推理？还是只是更复杂的模式匹配？
证据表明两者兼有：
- 在训练数据中见过的推理模式 → 模式匹配
- 需要新推理组合的问题 → 表现差
- 多步推理中的中间错误 → 可能"编造"不合理的步骤
计算成本
CoT的推理token消耗是非CoT的5-20倍。需要平衡：
- 什么任务需要CoT？（推理密集型）
- 什么任务不需要？（信息提取、翻译）
未来方向
- 推理效率优化：用更少的推理token达到同等效果
- 推理质量提升：减少推理链中的错误
- 自适应推理：简单问题快速回答，复杂问题深度推理
- 可解释推理：让推理过程人类可理解可审查
- 推理+搜索融合：结合LLM推理和符号引擎搜索
总结
思维链推理是大模型从"知道"走向"思考"的关键技术。2026年的推理时Scaling范式正在改变AI的经济学——不再单纯追求更大的模型，而是投入更多推理计算来获得更好的结果。这是AI发展的新维度：不是让模型记住更多，而是让模型想得更深。