CoT

一、什么是 Chain of Thought Chain of Thought（CoT，思维链）是一种让大语言模型在给出最终答案前，先展示中间推理步骤的提示技术。由 Wei et al. (2022) 在论文 “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” 中首次提出。 1.1 核心思想 传统 Prompt 要求模型直接输出答案——这相当于让人不假思索地回答复杂问题。而 CoT 通过引导模型"自言自语"地推理，显著提升复杂推理任务的准确率。 # 标准 Prompt（直接输出） Q: 小明有 23 个苹果，吃了 3 个，又买了 12 个。他有多少个苹果？ A: 32 # CoT Prompt（展示推理步骤） Q: 小明有 23 个苹果，吃了 3 个，又买了 12 个。他有多少个苹果？ A: 小明开始有 23 个苹果。吃了 3 个之后，剩余 23 - 3 = 20 个。又买了 12 个后，总数为 20 + 12 = 32 个。所以答案是 32。 1.2 为什么 CoT 有效 因素 说明 分解复杂度 将多步推理拆解为可管理的子步骤 中间监督 错误定位到具体步骤，而非全盘错误 计算复用 中间结果可作为后续推理的上下文 注意力聚焦 每一步聚焦当前子问题，减少信息丢失 二、CoT 的核心方法 2.1 Zero-shot CoT 通过简单短语 “Let’s think step by step” 触发推理链。无需示例，对大多数模型有效。 ...

思维链：从直觉到推理的跨越 大语言模型在简单问答上表现惊艳，但面对数学推导、逻辑推理、多步决策等复杂任务时，直接给出答案往往出错。原因很简单：模型在单次前向传播中压缩了所有推理过程，信息瓶颈导致中间步骤丢失。 思维链（Chain-of-Thought, CoT）的核心思想是：强制模型显式输出中间推理步骤，再得出最终答案。 这不是让模型"思考更深"，而是为模型提供额外的 token 预算来承载中间计算。 Zero-shot CoT vs Few-shot CoT Zero-shot CoT 最简单的 CoT 触发方式——在 Prompt 末尾追加一句话： 问题：一个商店有 23 个苹果，卖了 17 个，又进货了 12 个。现在有多少个苹果？ 让我们一步一步思考。 模型输出： 1. 初始有 23 个苹果 2. 卖出 17 个：23 - 17 = 6 3. 进货 12 个：6 + 12 = 18 4. 现在有 18 个苹果 关键点： “让我们一步一步思考”（Let’s think step by step）这句话在 GSM8K 基准上将准确率从 17.7% 提升到 78.7%（GPT-3.5）。这个魔法的本质是引导模型进入"推理模式"的 token 分布。 Few-shot CoT 在 Prompt 中提供带推理过程的示例： ...