思维链

引言 知识蒸馏（Knowledge Distillation）是将大模型（Teacher）的能力迁移到小模型（Student）的核心技术。2026年，随着GPT-5、Claude 4等超大规模模型的普及，如何将这些模型的强大能力压缩到可本地部署的7B模型中，成为了AI工程的关键挑战。本文将系统介绍蒸馏技术的最新进展。 知识蒸馏基础 经典蒸馏框架 经典知识蒸馏由Hinton等人于2015年提出，核心思想是让学生模型模仿教师模型的输出分布： $$ \mathcal{L}_{\text{KD}} = (1-\alpha) \cdot \text{CE}(y, p_s) + \alpha \cdot T^2 \cdot \text{KL}(p_t^T | p_s^T) $$ 其中： $p_s$ 和 $p_t$ 分别是学生和教师模型的输出概率 $T$ 是温度参数，软化概率分布 $\alpha$ 是平衡系数 $y$ 是真实标签 温度缩放 温度参数 $T$ 控制输出分布的平滑程度： $$ p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$ class DistillationLoss(nn.Module): def __init__(self, alpha=0.5, temperature=4.0): super().__init__() self.alpha = alpha self.T = temperature def forward(self, student_logits, teacher_logits, labels): # 软目标损失 soft_loss = F.kl_div( F.log_softmax(student_logits / self.T, dim=-1), F.softmax(teacher_logits / self.T, dim=-1), reduction='batchmean' ) * (self.T ** 2) # 硬目标损失 hard_loss = F.cross_entropy(student_logits, labels) return (1 - self.alpha) * hard_loss + self.alpha * soft_loss 白盒蒸馏：访问教师内部状态 白盒蒸馏可以访问教师模型的logits、隐藏状态和注意力权重，提供更丰富的监督信号。 ...

引言 Chain-of-Thought（CoT，思维链）提示是提升大语言模型推理能力最重要的技术之一。自2022年Google研究团队提出以来，CoT已成为复杂推理任务的标配技术。但仅仅在Prompt末尾加上"Let’s think step by step"远未发挥其全部潜力。本文将深入CoT的原理、进阶变体和工程实践技巧。 CoT的底层原理 为什么CoT有效 CoT有效的核心原因在于大语言模型的下一个token预测机制。当模型直接输出答案时，它需要在一个前向传播中完成所有推理计算，这受到模型宽度（隐藏层维度）的限制。而CoT将推理过程分解为多个步骤，每一步的输出作为下一步的上下文，相当于利用了额外的"计算周期"来扩展模型的推理深度。 研究表明，CoT的收益与模型规模正相关：在足够大的模型上，CoT能显著提升数学推理、逻辑推理和代码生成能力；但在小模型上，CoT可能适得其反。这一现象被称为"涌现能力"。 推理链的结构要素 一个有效的CoT推理链通常包含以下结构要素： 问题分解：将复杂问题拆解为子问题 信息提取：从已知条件中提取关键信息 中间推理：逐步推导中间结论 验证检查：在关键节点验证推理正确性 综合结论：整合中间结论给出最终答案 基础CoT模式 零样本CoT 最简单的形式，在Prompt末尾添加触发短语： [问题描述] 让我们一步一步思考。 适用场景：模型已有足够领域知识、问题复杂度中等。优势是简单通用，劣势是推理过程不可控。 少样本CoT 在Prompt中提供带推理过程的示例： 问题：一个商店有23个苹果，卖了17个，又进了12个，现在有多少个？ 推理：初始有23个苹果，卖出17个后剩23-17=6个，又进12个后6+12=18个。 答案：18 问题：[新问题] 推理： 适用场景：需要特定的推理格式、领域特定问题。优势是可控性强，劣势是示例选择影响效果。 进阶CoT技巧 1. 结构化推理模板 为不同类型的推理任务设计结构化模板： 问题：[问题描述] 已知条件： - 条件1 - 条件2 推理步骤： Step 1: [第一步推导] Step 2: [第二步推导] ... 验证：[验证推理是否正确] 答案：[最终答案] 结构化模板的优势在于：推理过程更清晰、便于错误定位、可程序化解析提取中间结果。 2. 逆向推理链 对于某些问题，从目标倒推比从已知条件正推更高效。在Prompt中引导模型进行双向推理： 请同时从以下两个方向分析问题： - 正向：从已知条件出发，能推导出什么？ - 逆向：要得到目标答案，需要哪些中间条件？ 在两个方向汇合时给出最终答案。 3. 推理链长度控制 推理链并非越长越好。过长的推理链可能导致：模型"忘记"原始问题、中间错误累积、token消耗过大。实践技巧： 对简单问题，限制推理步骤在3-5步 对复杂问题，先做问题分解再分别推理 在推理链中设置检查点，允许模型"回头看" 4. 自我验证CoT 在推理完成后，让模型验证自己的推理过程： ...

引言 自Chain-of-Thought（CoT）被提出以来，研究者们发展出多种变体以适应不同场景需求。从最初的Few-shot CoT到Zero-shot CoT，再到Auto-CoT、Tree-of-Thought、Graph-of-Thought等，每种变体都有其独特优势和适用场景。本文对主流CoT变体进行系统对比分析，帮助开发者选择最适合的推理增强方案。 基础变体 Zero-shot CoT 核心思想：在Prompt末尾添加"Let’s think step by step"触发推理链，无需提供示例。 典型Prompt： [问题描述] Let's think step by step. 优势： 实现极简，无需设计示例 Token消耗低 通用性强，跨任务迁移无需修改 劣势： 推理格式不可控 复杂推理可能偏离正确方向 效果依赖模型本身的推理能力 适用场景：模型能力较强（如GPT-4级别）、任务复杂度中等、快速原型验证。 Few-shot CoT 核心思想：在Prompt中提供带推理过程的示例，引导模型模仿推理模式。 典型Prompt： 问题：小明有5个苹果，给了小红2个，小红又还给他1个，小明现在有几个？ 推理：小明原有5个，给出2个后剩3个，小红还1个后4个。 答案：4 问题：[新问题] 推理： 优势： 推理格式可控 可传递特定推理策略 效果稳定，适合生产环境 劣势： 示例设计需要经验和测试 Token消耗较高 示例选择可能引入偏差 适用场景：需要特定推理格式的生产环境、领域特定推理任务。 自动化变体 Auto-CoT 核心思想：自动从模型输出中采样推理链作为示例，避免人工设计示例。 流程： 用Zero-shot CoT对一批问题生成推理链 对推理链质量进行评分（如通过最终答案的正确性） 选择高质量推理链作为Few-shot示例 使用自动构建的示例处理新问题 优势： 无需人工设计示例 示例多样性有保证 可针对特定任务自动优化 劣势： 初始采样需要额外计算 质量筛选机制影响效果 可能引入错误推理链 适用场景：缺乏领域专家的场景、需要快速适配新任务类型。 Active-CoT 核心思想：在Auto-CoT基础上，主动选择信息量最大的问题进行采样。 流程： 用聚类算法将问题集分组 从每组的边界案例中采样推理链 优先选择模型不确定性高的问题 构建更具代表性的示例集 优势：示例集覆盖更全面，对边界案例处理更好。 ...

思维链：从直觉到推理的跨越 大语言模型在简单问答上表现惊艳，但面对数学推导、逻辑推理、多步决策等复杂任务时，直接给出答案往往出错。原因很简单：模型在单次前向传播中压缩了所有推理过程，信息瓶颈导致中间步骤丢失。 思维链（Chain-of-Thought, CoT）的核心思想是：强制模型显式输出中间推理步骤，再得出最终答案。 这不是让模型"思考更深"，而是为模型提供额外的 token 预算来承载中间计算。 Zero-shot CoT vs Few-shot CoT Zero-shot CoT 最简单的 CoT 触发方式——在 Prompt 末尾追加一句话： 问题：一个商店有 23 个苹果，卖了 17 个，又进货了 12 个。现在有多少个苹果？ 让我们一步一步思考。 模型输出： 1. 初始有 23 个苹果 2. 卖出 17 个：23 - 17 = 6 3. 进货 12 个：6 + 12 = 18 4. 现在有 18 个苹果 关键点： “让我们一步一步思考”（Let’s think step by step）这句话在 GSM8K 基准上将准确率从 17.7% 提升到 78.7%（GPT-3.5）。这个魔法的本质是引导模型进入"推理模式"的 token 分布。 Few-shot CoT 在 Prompt 中提供带推理过程的示例： ...