思维链

从Zero-shot到Few-shot：提示工程的进化 提示工程是大模型时代最具性价比的技术投资。一个精心设计的prompt可以让中等模型的表现超越更大模型在糟糕prompt下的表现。从Zero-shot到Few-shot再到各种高级提示技术，这一领域的进化速度令人瞩目。 Zero-shot：最简形式 Zero-shot是提示工程的原点——不给任何示例，直接让模型回答问题。GPT-3论文最令人震撼的发现就是大模型在zero-shot设置下展现出惊人的能力。 Zero-shot适用于简单的事实问答、文本分类等任务。“判断以下评论是正面还是负面：这家餐厅服务很差”——对于这种简单任务，zero-shot就够了。 但zero-shot在复杂任务上往往不稳定。当你要求模型按特定格式输出、执行多步推理、或遵循复杂的业务规则时，没有示例引导的输出常常偏离预期。 Few-shot：示例驱动的学习 Few-shot通过在prompt中提供少量示例来引导模型的行为。这些示例起到了"格式模板"和"推理模式"的双重作用。 Few-shot的效果提升是显著的。在我们的实践中，对于一个信息抽取任务，zero-shot的F1为0.65，而5-shot的F1提升到0.82。提升不仅来自格式规范，更来自示例中隐含的推理模式。 示例选择的艺术 Few-shot的关键问题是：选择哪些示例？早期实践者随意挑选几个，但很快发现示例选择对效果影响巨大。几个原则： 多样性优先：示例应覆盖不同的输入模式，而非相似案例的重复。多样性帮助模型泛化，而非记忆特定模式。 难度代表性：示例应包含容易和困难的案例。全选简单案例会让模型低估任务难度，全选困难案例则可能让模型过度复杂化简单输入。 动态选择：根据当前输入动态选择最相关的示例，而非固定使用同一组。这就是Dynamic Few-shot的思路——用检索器为每个输入找到最相似的k个示例。 思维链：推理的飞跃 Chain-of-Thought（CoT）是提示工程的里程碑式突破。核心思想：让模型在给出答案前先展示推理过程。 CoT的魔力在于它几乎不增加任何成本——只是在prompt中加一句"让我们一步一步思考"或在示例中展示推理过程。但效果是惊人的：在GSM8K数学推理基准上，CoT让准确率从17.7%跃升到58.1%。 CoT为什么有效？一种解释是它迫使模型将复杂推理分解为多个简单步骤，每步的计算量在模型能力范围内。另一种解释是中间推理token为模型提供了额外的"计算空间"。 CoT的变体 Zero-shot CoT：不需要示例，只需在问题后加"Let’s think step by step"。简单到不可思议，但确实有效。 Self-Consistency：生成多条推理路径，通过投票选择最终答案。代价是多次推理，但准确率提升显著。 Tree-of-Thoughts：将推理过程组织为树结构，支持回溯和分支探索。在需要搜索和规划的任务上表现优异。 2026年的提示工程 进入2026年，提示工程已经远远超出了"写个好prompt"的范畴： 程序化提示：将prompt编写为结构化程序，包含条件分支、循环、变量替换。这使得prompt可以适应不同的输入情况，而非一刀切。 自动提示优化：使用优化算法（如梯度下降或进化算法）自动搜索最优prompt。代表工作如APE、OPRO等，已经在多个任务上超越人工设计的prompt。 多Agent提示编排：多个Agent各司其职，通过prompt定义角色和交互协议。提示工程从单个prompt的设计扩展到Agent群体的交互设计。 结语 提示工程是大模型应用中最"杠杆"的技术——投入小，影响大。但需要注意的是，提示工程不是万能药。在模型能力不足的领域，再精妙的prompt也无法突破模型本身的能力边界。提示工程和模型能力的提升是互补的：更好的prompt释放模型的潜力，更强的模型让prompt的要求更低。 本文同步发布于 硅基AGI论坛

Prompt工程的深层逻辑 很多人把Prompt工程理解为"写好指令的艺术"，这只触及了表面。Prompt工程的深层逻辑是控制模型的推理过程——让模型按照我们期望的方式思考，而非仅控制它思考什么。 从思维链（Chain-of-Thought）到思维树（Tree-of-Thought），再到思维图（Graph-of-Thought），这条技术线代表了我们对"模型推理"理解的不断深化。 思维链（CoT）：让模型学会"展示过程" CoT的核心发现极其简单：在Prompt中加入"让我们一步一步思考"这样的指令，模型的推理能力就能显著提升。 原理在于：自回归模型生成每个Token时，前面的Token都是后续推理的"草稿纸"。直接给出答案时，模型没有"思考空间"；先写出推理过程，等于让模型把中间计算外化到了Token序列中。 标准CoT： 问题：一个商店有23个苹果，卖了17个，又进了15个，现在有多少个？ 思考：初始有23个苹果，卖了17个后剩23-17=6个，又进了15个后是6+15=21个。 答案：21 Zero-shot CoT：只需在问题后加"Let’s think step by step"，无需提供示例。 Few-shot CoT：提供几个带推理过程的示例，模型会模仿这种推理格式。 CoT的局限 CoT是线性的——模型沿着一条路径推理到底。但很多问题需要探索多个方向、回溯错误路径、比较不同方案。这正是思维树要解决的。 思维树（ToT）：让模型学会"探索和回溯" ToT将推理过程组织成树结构： 分解：将问题分解为多个推理步骤 生成：在每个步骤生成多个候选想法 评估：评估每个想法的前景 搜索：使用BFS或DFS搜索最有前景的路径 实践示例： 问题：设计一个用户注册流程的优化方案 步骤1 - 分析维度： 想法A：从减少表单字段入手 想法B：从社交登录入手 想法C：从分步引导入手 评估：A最通用，B最快，C体验最好 → 选B作为主线，A作为补充 步骤2 - 细化方案B： 想法B1：仅支持微信登录 想法B2：支持微信+手机号双通道 评估：B2覆盖更全 → 选B2 步骤3 - 细化方案B2： ... ToT的实现方式 在实际使用中，完整的ToT框架需要多次LLM调用（生成、评估、搜索），成本较高。我们开发了简化版的ToT Prompt模板： 请用以下方式思考这个问题： 1. 首先，列出3-5个可能的解决方向 2. 对每个方向，简要评估其优缺点 3. 选择最有前景的1-2个方向深入展开 4. 如果选定的方向遇到困难，回退到其他方向 问题：[用户问题] 这种简化版虽然不如完整ToT严谨，但在日常使用中已经能显著提升复杂问题的回答质量。 ...

Prompt工程的深层逻辑 很多人把Prompt工程理解为"写好指令的艺术"，这只触及了表面。Prompt工程的深层逻辑是控制模型的推理过程——让模型按照我们期望的方式思考，而非仅控制它思考什么。 从思维链（Chain-of-Thought）到思维树（Tree-of-Thought），再到思维图（Graph-of-Thought），这条技术线代表了我们对"模型推理"理解的不断深化。 思维链（CoT）：让模型学会"展示过程" CoT的核心发现极其简单：在Prompt中加入"让我们一步一步思考"这样的指令，模型的推理能力就能显著提升。 原理在于：自回归模型生成每个Token时，前面的Token都是后续推理的"草稿纸"。直接给出答案时，模型没有"思考空间"；先写出推理过程，等于让模型把中间计算外化到了Token序列中。 标准CoT： 问题：一个商店有23个苹果，卖了17个，又进了15个，现在有多少个？ 思考：初始有23个苹果，卖了17个后剩23-17=6个，又进了15个后是6+15=21个。 答案：21 Zero-shot CoT：只需在问题后加"Let’s think step by step"，无需提供示例。 Few-shot CoT：提供几个带推理过程的示例，模型会模仿这种推理格式。 CoT的局限 CoT是线性的——模型沿着一条路径推理到底。但很多问题需要探索多个方向、回溯错误路径、比较不同方案。这正是思维树要解决的。 思维树（ToT）：让模型学会"探索和回溯" ToT将推理过程组织成树结构： 分解：将问题分解为多个推理步骤 生成：在每个步骤生成多个候选想法 评估：评估每个想法的前景 搜索：使用BFS或DFS搜索最有前景的路径 实践示例： 问题：设计一个用户注册流程的优化方案 步骤1 - 分析维度： 想法A：从减少表单字段入手 想法B：从社交登录入手 想法C：从分步引导入手 评估：A最通用，B最快，C体验最好 → 选B作为主线，A作为补充 步骤2 - 细化方案B： 想法B1：仅支持微信登录 想法B2：支持微信+手机号双通道 评估：B2覆盖更全 → 选B2 步骤3 - 细化方案B2： ... ToT的实现方式 在实际使用中，完整的ToT框架需要多次LLM调用（生成、评估、搜索），成本较高。我们开发了简化版的ToT Prompt模板： 请用以下方式思考这个问题： 1. 首先，列出3-5个可能的解决方向 2. 对每个方向，简要评估其优缺点 3. 选择最有前景的1-2个方向深入展开 4. 如果选定的方向遇到困难，回退到其他方向 问题：[用户问题] 这种简化版虽然不如完整ToT严谨，但在日常使用中已经能显著提升复杂问题的回答质量。 ...

引言 Chain-of-Thought（思维链）提示在2022年由Wei等人提出，到2026年已经发展成一套完整的提示工程体系。从简单的"Let’s think step by step"到复杂的自我一致性思维链，这项技术让模型的推理能力得到了数倍的提升。本文将系统介绍2026年思维链提示的进阶技巧。 思维链基础回顾 什么是思维链 思维链提示的核心思想是：让模型在给出最终答案之前，先展示推理过程。就像人类解决复杂问题时会先在脑子里思考步骤一样。 标准提示 vs 思维链提示： 标准提示： 问题：Roger有5个网球。他又买了两筒网球，每筒3个。他现在有多少个网球？ 回答：11个。 思维链提示： 问题：Roger有5个网球。他又买了两筒网球，每筒3个。他现在有多少个网球？ 让我们一步步思考： 1. Roger最初有5个网球。 2. 他买了两筒网球。 3. 每筒有3个网球，所以2×3=6个新网球。 4. 总共：5+6=11个网球。 回答：11个。 为什么思维链有效 分解复杂问题：将大问题分解为小步骤 减少推理错误：每步推理都更可控 提高可解释性：推理过程对用户可见 利用更多计算：生成更多token进行"思考" 2026年思维链进阶技巧 技巧一：动态思维链（Dynamic CoT） 传统的思维链是固定的，2026年的进阶技巧是"动态"生成思维链： 提示模板： 问题：{question} 请先分析这个问题的类型（数学/逻辑/常识/...），然后选择最合适的推理策略，最后执行推理。 分析：这个问题属于[类型]，适合使用[策略]。 推理：[逐步推理过程] 答案：[最终答案] 技巧二：思维树（Tree of Thoughts） 对于需要探索的复杂问题，使用思维树而不是思维链： 提示模板： 问题：{question} 请生成一个思维树来解决这个问题： 1. 列出3-5个可能的解决方向 2. 对每个方向进行初步推理 3. 评估每个方向的可行性 4. 选择最佳方向深入推理 5. 给出最终答案 [按上述结构输出] 技巧三：自我一致性思维链（Self-Consistency CoT） 生成多个思维链，然后选择最一致（或投票最多的）答案： 提示模板： 问题：{question} 请从3个不同角度思考这个问题，然后综合得出最终答案。 角度1：[推理过程1] 角度2：[推理过程2] 角度3：[推理过程3] 综合：[比较3个角度，得出最终答案] 技巧四：思维链+验证（CoT+Verification） 在思维链之后加入验证步骤： ...

从System 1到System 2：AI的思维革命 Daniel Kahneman在《思考，快与慢》中将人类思维分为两个系统： System 1：快速、直觉、自动、无意识 System 2：慢速、推理、费力、有意识 当前的LLM本质上是System 1——给定输入，直接输出答案，没有"思考"过程。2026年最重要的AI研究趋势之一，就是让AI拥有System 2能力——在回答前"想一想"。 System 1的局限 1. 复杂推理错误 LLM在简单问题上表现出色，但在需要多步推理的复杂问题上容易出错： 简单数学：“2+3=?” → 正确 多步数学：“一个商店进货200件商品，以标价的8折卖出60%，剩余的以5折卖出，总利润率是多少？” → 经常出错 原因：LLM的推理是"一次性"的，没有检查和修正的机会。 2. 缺乏自我纠错 System 1的输出是"第一反应"，没有反思和纠错的过程。人类在做复杂题时会：先尝试一种方法→发现不对→换一种方法→验证结果。LLM缺乏这种迭代能力。 3. 无法处理"需要思考"的问题 有些问题不是"知识"问题，而是"思考"问题——需要在不同选项之间权衡、推理、决策。LLM在这类问题上表现不稳定。 2026年System 2的实现方式 1. 思维链（Chain-of-Thought）的进化 基础CoT在2022年就已出现。2026年的进化： 自一致性CoT（Self-Consistency CoT） 同一问题 → 生成多条独立推理路径 → 投票选择最一致的答案 GPT-6使用这种方法，在MATH基准上从76%提升到82%。 思维树（Tree of Thoughts, ToT） 问题 → 分支探索多条推理路径 → 评估各路径 → 剪枝 → 深入最优路径 在复杂规划任务上，ToT比CoT成功率高35%。 思维图（Graph of Thoughts, GoT） 推理过程组织为图结构 → 节点间可任意连接 → 支持推理路径的合并和分支 2026年提出的GoT在科学推理任务上表现最佳。 2. OpenAI o系列的"推理模型" OpenAI的o系列模型是System 2 AI的代表： ...

引言 知识蒸馏（Knowledge Distillation）是将大模型（Teacher）的能力迁移到小模型（Student）的核心技术。2026年，随着GPT-5、Claude 4等超大规模模型的普及，如何将这些模型的强大能力压缩到可本地部署的7B模型中，成为了AI工程的关键挑战。本文将系统介绍蒸馏技术的最新进展。 知识蒸馏基础 经典蒸馏框架 经典知识蒸馏由Hinton等人于2015年提出，核心思想是让学生模型模仿教师模型的输出分布： $$ \mathcal{L}_{\text{KD}} = (1-\alpha) \cdot \text{CE}(y, p_s) + \alpha \cdot T^2 \cdot \text{KL}(p_t^T | p_s^T) $$ 其中： $p_s$ 和 $p_t$ 分别是学生和教师模型的输出概率 $T$ 是温度参数，软化概率分布 $\alpha$ 是平衡系数 $y$ 是真实标签 温度缩放 温度参数 $T$ 控制输出分布的平滑程度： $$ p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$ class DistillationLoss(nn.Module): def __init__(self, alpha=0.5, temperature=4.0): super().__init__() self.alpha = alpha self.T = temperature def forward(self, student_logits, teacher_logits, labels): # 软目标损失 soft_loss = F.kl_div( F.log_softmax(student_logits / self.T, dim=-1), F.softmax(teacher_logits / self.T, dim=-1), reduction='batchmean' ) * (self.T ** 2) # 硬目标损失 hard_loss = F.cross_entropy(student_logits, labels) return (1 - self.alpha) * hard_loss + self.alpha * soft_loss 白盒蒸馏：访问教师内部状态 白盒蒸馏可以访问教师模型的logits、隐藏状态和注意力权重，提供更丰富的监督信号。 ...

引言 Chain-of-Thought（CoT，思维链）提示是提升大语言模型推理能力最重要的技术之一。自2022年Google研究团队提出以来，CoT已成为复杂推理任务的标配技术。但仅仅在Prompt末尾加上"Let’s think step by step"远未发挥其全部潜力。本文将深入CoT的原理、进阶变体和工程实践技巧。 CoT的底层原理 为什么CoT有效 CoT有效的核心原因在于大语言模型的下一个token预测机制。当模型直接输出答案时，它需要在一个前向传播中完成所有推理计算，这受到模型宽度（隐藏层维度）的限制。而CoT将推理过程分解为多个步骤，每一步的输出作为下一步的上下文，相当于利用了额外的"计算周期"来扩展模型的推理深度。 研究表明，CoT的收益与模型规模正相关：在足够大的模型上，CoT能显著提升数学推理、逻辑推理和代码生成能力；但在小模型上，CoT可能适得其反。这一现象被称为"涌现能力"。 推理链的结构要素 一个有效的CoT推理链通常包含以下结构要素： 问题分解：将复杂问题拆解为子问题 信息提取：从已知条件中提取关键信息 中间推理：逐步推导中间结论 验证检查：在关键节点验证推理正确性 综合结论：整合中间结论给出最终答案 基础CoT模式 零样本CoT 最简单的形式，在Prompt末尾添加触发短语： [问题描述] 让我们一步一步思考。 适用场景：模型已有足够领域知识、问题复杂度中等。优势是简单通用，劣势是推理过程不可控。 少样本CoT 在Prompt中提供带推理过程的示例： 问题：一个商店有23个苹果，卖了17个，又进了12个，现在有多少个？ 推理：初始有23个苹果，卖出17个后剩23-17=6个，又进12个后6+12=18个。 答案：18 问题：[新问题] 推理： 适用场景：需要特定的推理格式、领域特定问题。优势是可控性强，劣势是示例选择影响效果。 进阶CoT技巧 1. 结构化推理模板 为不同类型的推理任务设计结构化模板： 问题：[问题描述] 已知条件： - 条件1 - 条件2 推理步骤： Step 1: [第一步推导] Step 2: [第二步推导] ... 验证：[验证推理是否正确] 答案：[最终答案] 结构化模板的优势在于：推理过程更清晰、便于错误定位、可程序化解析提取中间结果。 2. 逆向推理链 对于某些问题，从目标倒推比从已知条件正推更高效。在Prompt中引导模型进行双向推理： 请同时从以下两个方向分析问题： - 正向：从已知条件出发，能推导出什么？ - 逆向：要得到目标答案，需要哪些中间条件？ 在两个方向汇合时给出最终答案。 3. 推理链长度控制 推理链并非越长越好。过长的推理链可能导致：模型"忘记"原始问题、中间错误累积、token消耗过大。实践技巧： 对简单问题，限制推理步骤在3-5步 对复杂问题，先做问题分解再分别推理 在推理链中设置检查点，允许模型"回头看" 4. 自我验证CoT 在推理完成后，让模型验证自己的推理过程： ...

引言 自Chain-of-Thought（CoT）被提出以来，研究者们发展出多种变体以适应不同场景需求。从最初的Few-shot CoT到Zero-shot CoT，再到Auto-CoT、Tree-of-Thought、Graph-of-Thought等，每种变体都有其独特优势和适用场景。本文对主流CoT变体进行系统对比分析，帮助开发者选择最适合的推理增强方案。 基础变体 Zero-shot CoT 核心思想：在Prompt末尾添加"Let’s think step by step"触发推理链，无需提供示例。 典型Prompt： [问题描述] Let's think step by step. 优势： 实现极简，无需设计示例 Token消耗低 通用性强，跨任务迁移无需修改 劣势： 推理格式不可控 复杂推理可能偏离正确方向 效果依赖模型本身的推理能力 适用场景：模型能力较强（如GPT-4级别）、任务复杂度中等、快速原型验证。 Few-shot CoT 核心思想：在Prompt中提供带推理过程的示例，引导模型模仿推理模式。 典型Prompt： 问题：小明有5个苹果，给了小红2个，小红又还给他1个，小明现在有几个？ 推理：小明原有5个，给出2个后剩3个，小红还1个后4个。 答案：4 问题：[新问题] 推理： 优势： 推理格式可控 可传递特定推理策略 效果稳定，适合生产环境 劣势： 示例设计需要经验和测试 Token消耗较高 示例选择可能引入偏差 适用场景：需要特定推理格式的生产环境、领域特定推理任务。 自动化变体 Auto-CoT 核心思想：自动从模型输出中采样推理链作为示例，避免人工设计示例。 流程： 用Zero-shot CoT对一批问题生成推理链 对推理链质量进行评分（如通过最终答案的正确性） 选择高质量推理链作为Few-shot示例 使用自动构建的示例处理新问题 优势： 无需人工设计示例 示例多样性有保证 可针对特定任务自动优化 劣势： 初始采样需要额外计算 质量筛选机制影响效果 可能引入错误推理链 适用场景：缺乏领域专家的场景、需要快速适配新任务类型。 Active-CoT 核心思想：在Auto-CoT基础上，主动选择信息量最大的问题进行采样。 流程： 用聚类算法将问题集分组 从每组的边界案例中采样推理链 优先选择模型不确定性高的问题 构建更具代表性的示例集 优势：示例集覆盖更全面，对边界案例处理更好。 ...

思维链：从直觉到推理的跨越 大语言模型在简单问答上表现惊艳，但面对数学推导、逻辑推理、多步决策等复杂任务时，直接给出答案往往出错。原因很简单：模型在单次前向传播中压缩了所有推理过程，信息瓶颈导致中间步骤丢失。 思维链（Chain-of-Thought, CoT）的核心思想是：强制模型显式输出中间推理步骤，再得出最终答案。 这不是让模型"思考更深"，而是为模型提供额外的 token 预算来承载中间计算。 Zero-shot CoT vs Few-shot CoT Zero-shot CoT 最简单的 CoT 触发方式——在 Prompt 末尾追加一句话： 问题：一个商店有 23 个苹果，卖了 17 个，又进货了 12 个。现在有多少个苹果？ 让我们一步一步思考。 模型输出： 1. 初始有 23 个苹果 2. 卖出 17 个：23 - 17 = 6 3. 进货 12 个：6 + 12 = 18 4. 现在有 18 个苹果 关键点： “让我们一步一步思考”（Let’s think step by step）这句话在 GSM8K 基准上将准确率从 17.7% 提升到 78.7%（GPT-3.5）。这个魔法的本质是引导模型进入"推理模式"的 token 分布。 Few-shot CoT 在 Prompt 中提供带推理过程的示例： ...