Self-Consistency 技巧：多次采样提升推理质量
核心原理 Self-Consistency (SC) 的核心思想极其简洁：对同一个问题生成多条推理路径，通过投票选出最一致的答案。 传统 Chain-of-Thought (CoT) 只采样一次推理路径，若该路径在某一步出错，最终答案就会错。SC 利用了一个关键观察——正确答案往往比错误答案更容易被多种推理路径到达。 # 单次 CoT：一条路径 问题 → [推理路径 A] → 答案 A # Self-Consistency：多条路径 + 投票 问题 → [推理路径 A] → 答案 A ─┐ → [推理路径 B] → 答案 B ─┼→ 多数投票 → 最终答案 → [推理路径 C] → 答案 A ─┘ → [推理路径 D] → 答案 A ─┘ 采样策略详解 温度参数 (Temperature) 温度控制采样的随机性，是 SC 效果的关键变量： 温度范围 效果 适用场景 0.0-0.3 路径高度相似，多样性不足 简单问题 0.5-0.7 多样性与质量的最佳平衡 推荐默认 0.8-1.0 路径差异大，但质量下降 复杂推理需高多样性 Top-p 采样 Top-p (nucleus sampling) 限制了候选 token 的概率质量： ...