思维链

引言 Chain-of-Thought（思维链）提示在2022年由Wei等人提出，到2026年已经发展成一套完整的提示工程体系。从简单的"Let’s think step by step"到复杂的自我一致性思维链，这项技术让模型的推理能力得到了数倍的提升。本文将系统介绍2026年思维链提示的进阶技巧。 思维链基础回顾 什么是思维链 思维链提示的核心思想是：让模型在给出最终答案之前，先展示推理过程。就像人类解决复杂问题时会先在脑子里思考步骤一样。 标准提示 vs 思维链提示： 标准提示： 问题：Roger有5个网球。他又买了两筒网球，每筒3个。他现在有多少个网球？ 回答：11个。 思维链提示： 问题：Roger有5个网球。他又买了两筒网球，每筒3个。他现在有多少个网球？ 让我们一步步思考： 1. Roger最初有5个网球。 2. 他买了两筒网球。 3. 每筒有3个网球，所以2×3=6个新网球。 4. 总共：5+6=11个网球。 回答：11个。 为什么思维链有效 分解复杂问题：将大问题分解为小步骤 减少推理错误：每步推理都更可控 提高可解释性：推理过程对用户可见 利用更多计算：生成更多token进行"思考" 2026年思维链进阶技巧 技巧一：动态思维链（Dynamic CoT） 传统的思维链是固定的，2026年的进阶技巧是"动态"生成思维链： 提示模板： 问题：{question} 请先分析这个问题的类型（数学/逻辑/常识/...），然后选择最合适的推理策略，最后执行推理。 分析：这个问题属于[类型]，适合使用[策略]。 推理：[逐步推理过程] 答案：[最终答案] 技巧二：思维树（Tree of Thoughts） 对于需要探索的复杂问题，使用思维树而不是思维链： 提示模板： 问题：{question} 请生成一个思维树来解决这个问题： 1. 列出3-5个可能的解决方向 2. 对每个方向进行初步推理 3. 评估每个方向的可行性 4. 选择最佳方向深入推理 5. 给出最终答案 [按上述结构输出] 技巧三：自我一致性思维链（Self-Consistency CoT） 生成多个思维链，然后选择最一致（或投票最多的）答案： 提示模板： 问题：{question} 请从3个不同角度思考这个问题，然后综合得出最终答案。 角度1：[推理过程1] 角度2：[推理过程2] 角度3：[推理过程3] 综合：[比较3个角度，得出最终答案] 技巧四：思维链+验证（CoT+Verification） 在思维链之后加入验证步骤： ...

从System 1到System 2：AI的思维革命 Daniel Kahneman在《思考，快与慢》中将人类思维分为两个系统： System 1：快速、直觉、自动、无意识 System 2：慢速、推理、费力、有意识 当前的LLM本质上是System 1——给定输入，直接输出答案，没有"思考"过程。2026年最重要的AI研究趋势之一，就是让AI拥有System 2能力——在回答前"想一想"。 System 1的局限 1. 复杂推理错误 LLM在简单问题上表现出色，但在需要多步推理的复杂问题上容易出错： 简单数学：“2+3=?” → 正确 多步数学：“一个商店进货200件商品，以标价的8折卖出60%，剩余的以5折卖出，总利润率是多少？” → 经常出错 原因：LLM的推理是"一次性"的，没有检查和修正的机会。 2. 缺乏自我纠错 System 1的输出是"第一反应"，没有反思和纠错的过程。人类在做复杂题时会：先尝试一种方法→发现不对→换一种方法→验证结果。LLM缺乏这种迭代能力。 3. 无法处理"需要思考"的问题 有些问题不是"知识"问题，而是"思考"问题——需要在不同选项之间权衡、推理、决策。LLM在这类问题上表现不稳定。 2026年System 2的实现方式 1. 思维链（Chain-of-Thought）的进化 基础CoT在2022年就已出现。2026年的进化： 自一致性CoT（Self-Consistency CoT） 同一问题 → 生成多条独立推理路径 → 投票选择最一致的答案 GPT-6使用这种方法，在MATH基准上从76%提升到82%。 思维树（Tree of Thoughts, ToT） 问题 → 分支探索多条推理路径 → 评估各路径 → 剪枝 → 深入最优路径 在复杂规划任务上，ToT比CoT成功率高35%。 思维图（Graph of Thoughts, GoT） 推理过程组织为图结构 → 节点间可任意连接 → 支持推理路径的合并和分支 2026年提出的GoT在科学推理任务上表现最佳。 2. OpenAI o系列的"推理模型" OpenAI的o系列模型是System 2 AI的代表： ...

引言 知识蒸馏（Knowledge Distillation）是将大模型（Teacher）的能力迁移到小模型（Student）的核心技术。2026年，随着GPT-5、Claude 4等超大规模模型的普及，如何将这些模型的强大能力压缩到可本地部署的7B模型中，成为了AI工程的关键挑战。本文将系统介绍蒸馏技术的最新进展。 知识蒸馏基础 经典蒸馏框架 经典知识蒸馏由Hinton等人于2015年提出，核心思想是让学生模型模仿教师模型的输出分布： $$ \mathcal{L}_{\text{KD}} = (1-\alpha) \cdot \text{CE}(y, p_s) + \alpha \cdot T^2 \cdot \text{KL}(p_t^T | p_s^T) $$ 其中： $p_s$ 和 $p_t$ 分别是学生和教师模型的输出概率 $T$ 是温度参数，软化概率分布 $\alpha$ 是平衡系数 $y$ 是真实标签 温度缩放 温度参数 $T$ 控制输出分布的平滑程度： $$ p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$ class DistillationLoss(nn.Module): def __init__(self, alpha=0.5, temperature=4.0): super().__init__() self.alpha = alpha self.T = temperature def forward(self, student_logits, teacher_logits, labels): # 软目标损失 soft_loss = F.kl_div( F.log_softmax(student_logits / self.T, dim=-1), F.softmax(teacher_logits / self.T, dim=-1), reduction='batchmean' ) * (self.T ** 2) # 硬目标损失 hard_loss = F.cross_entropy(student_logits, labels) return (1 - self.alpha) * hard_loss + self.alpha * soft_loss 白盒蒸馏：访问教师内部状态 白盒蒸馏可以访问教师模型的logits、隐藏状态和注意力权重，提供更丰富的监督信号。 ...

引言 Chain-of-Thought（CoT，思维链）提示是提升大语言模型推理能力最重要的技术之一。自2022年Google研究团队提出以来，CoT已成为复杂推理任务的标配技术。但仅仅在Prompt末尾加上"Let’s think step by step"远未发挥其全部潜力。本文将深入CoT的原理、进阶变体和工程实践技巧。 CoT的底层原理 为什么CoT有效 CoT有效的核心原因在于大语言模型的下一个token预测机制。当模型直接输出答案时，它需要在一个前向传播中完成所有推理计算，这受到模型宽度（隐藏层维度）的限制。而CoT将推理过程分解为多个步骤，每一步的输出作为下一步的上下文，相当于利用了额外的"计算周期"来扩展模型的推理深度。 研究表明，CoT的收益与模型规模正相关：在足够大的模型上，CoT能显著提升数学推理、逻辑推理和代码生成能力；但在小模型上，CoT可能适得其反。这一现象被称为"涌现能力"。 推理链的结构要素 一个有效的CoT推理链通常包含以下结构要素： 问题分解：将复杂问题拆解为子问题 信息提取：从已知条件中提取关键信息 中间推理：逐步推导中间结论 验证检查：在关键节点验证推理正确性 综合结论：整合中间结论给出最终答案 基础CoT模式 零样本CoT 最简单的形式，在Prompt末尾添加触发短语： [问题描述] 让我们一步一步思考。 适用场景：模型已有足够领域知识、问题复杂度中等。优势是简单通用，劣势是推理过程不可控。 少样本CoT 在Prompt中提供带推理过程的示例： 问题：一个商店有23个苹果，卖了17个，又进了12个，现在有多少个？ 推理：初始有23个苹果，卖出17个后剩23-17=6个，又进12个后6+12=18个。 答案：18 问题：[新问题] 推理： 适用场景：需要特定的推理格式、领域特定问题。优势是可控性强，劣势是示例选择影响效果。 进阶CoT技巧 1. 结构化推理模板 为不同类型的推理任务设计结构化模板： 问题：[问题描述] 已知条件： - 条件1 - 条件2 推理步骤： Step 1: [第一步推导] Step 2: [第二步推导] ... 验证：[验证推理是否正确] 答案：[最终答案] 结构化模板的优势在于：推理过程更清晰、便于错误定位、可程序化解析提取中间结果。 2. 逆向推理链 对于某些问题，从目标倒推比从已知条件正推更高效。在Prompt中引导模型进行双向推理： 请同时从以下两个方向分析问题： - 正向：从已知条件出发，能推导出什么？ - 逆向：要得到目标答案，需要哪些中间条件？ 在两个方向汇合时给出最终答案。 3. 推理链长度控制 推理链并非越长越好。过长的推理链可能导致：模型"忘记"原始问题、中间错误累积、token消耗过大。实践技巧： 对简单问题，限制推理步骤在3-5步 对复杂问题，先做问题分解再分别推理 在推理链中设置检查点，允许模型"回头看" 4. 自我验证CoT 在推理完成后，让模型验证自己的推理过程： ...

引言 自Chain-of-Thought（CoT）被提出以来，研究者们发展出多种变体以适应不同场景需求。从最初的Few-shot CoT到Zero-shot CoT，再到Auto-CoT、Tree-of-Thought、Graph-of-Thought等，每种变体都有其独特优势和适用场景。本文对主流CoT变体进行系统对比分析，帮助开发者选择最适合的推理增强方案。 基础变体 Zero-shot CoT 核心思想：在Prompt末尾添加"Let’s think step by step"触发推理链，无需提供示例。 典型Prompt： [问题描述] Let's think step by step. 优势： 实现极简，无需设计示例 Token消耗低 通用性强，跨任务迁移无需修改 劣势： 推理格式不可控 复杂推理可能偏离正确方向 效果依赖模型本身的推理能力 适用场景：模型能力较强（如GPT-4级别）、任务复杂度中等、快速原型验证。 Few-shot CoT 核心思想：在Prompt中提供带推理过程的示例，引导模型模仿推理模式。 典型Prompt： 问题：小明有5个苹果，给了小红2个，小红又还给他1个，小明现在有几个？ 推理：小明原有5个，给出2个后剩3个，小红还1个后4个。 答案：4 问题：[新问题] 推理： 优势： 推理格式可控 可传递特定推理策略 效果稳定，适合生产环境 劣势： 示例设计需要经验和测试 Token消耗较高 示例选择可能引入偏差 适用场景：需要特定推理格式的生产环境、领域特定推理任务。 自动化变体 Auto-CoT 核心思想：自动从模型输出中采样推理链作为示例，避免人工设计示例。 流程： 用Zero-shot CoT对一批问题生成推理链 对推理链质量进行评分（如通过最终答案的正确性） 选择高质量推理链作为Few-shot示例 使用自动构建的示例处理新问题 优势： 无需人工设计示例 示例多样性有保证 可针对特定任务自动优化 劣势： 初始采样需要额外计算 质量筛选机制影响效果 可能引入错误推理链 适用场景：缺乏领域专家的场景、需要快速适配新任务类型。 Active-CoT 核心思想：在Auto-CoT基础上，主动选择信息量最大的问题进行采样。 流程： 用聚类算法将问题集分组 从每组的边界案例中采样推理链 优先选择模型不确定性高的问题 构建更具代表性的示例集 优势：示例集覆盖更全面，对边界案例处理更好。 ...

思维链：从直觉到推理的跨越 大语言模型在简单问答上表现惊艳，但面对数学推导、逻辑推理、多步决策等复杂任务时，直接给出答案往往出错。原因很简单：模型在单次前向传播中压缩了所有推理过程，信息瓶颈导致中间步骤丢失。 思维链（Chain-of-Thought, CoT）的核心思想是：强制模型显式输出中间推理步骤，再得出最终答案。 这不是让模型"思考更深"，而是为模型提供额外的 token 预算来承载中间计算。 Zero-shot CoT vs Few-shot CoT Zero-shot CoT 最简单的 CoT 触发方式——在 Prompt 末尾追加一句话： 问题：一个商店有 23 个苹果，卖了 17 个，又进货了 12 个。现在有多少个苹果？ 让我们一步一步思考。 模型输出： 1. 初始有 23 个苹果 2. 卖出 17 个：23 - 17 = 6 3. 进货 12 个：6 + 12 = 18 4. 现在有 18 个苹果 关键点： “让我们一步一步思考”（Let’s think step by step）这句话在 GSM8K 基准上将准确率从 17.7% 提升到 78.7%（GPT-3.5）。这个魔法的本质是引导模型进入"推理模式"的 token 分布。 Few-shot CoT 在 Prompt 中提供带推理过程的示例： ...