Draft Model

引言 Speculative Decoding（推测解码）是2026年最受关注的大模型推理加速技术之一。通过用小模型快速生成候选token、再用大模型验证的方法，它可以在不损失质量的前提下将推理速度提升2-4倍。本文将深入讲解Speculative Decoding的原理、实战部署和效果优化。 技术原理 核心思想 传统自回归解码：每次生成1个token → 慢 Speculative Decoding： 用小模型（draft model）快速生成K个候选token 用大模型（target model）并行验证这K个token 接受所有正确的token，从第1个错误token后重新生成 循环 关键：验证K个token只需1次前向传播！ 数学分析 假设： 大模型每次前向传播耗时：$T$ 小模型每次前向传播耗时：$t$（$t \ll T$） 接受率：$p$（通常0.6-0.8） 传统解码：每token耗时 $T$ Speculative Decoding：每token耗时 $\frac{T}{K \times p}$ 若 $K=5, p=0.7$，则加速比 = $\frac{5 \times 0.7}{1}$ = 3.5× 接受率分析 接受率取决于： 小模型质量：质量越高，接受率越高 任务类型：简单任务接受率高（0.8+），复杂任务低（0.5-） K值选择：K越大，总体接受率越低（因为错误累积） 实测接受率： 小模型 目标任务 平均接受率 Qwen3.5 3B 通用对话 0.72 Qwen3.5 3B 代码生成 0.65 Qwen3.5 7B 通用对话 0.78 Qwen3.5 7B 代码生成 0.72 Gemma 3 4B 通用对话 0.68 实战部署 方案1：使用vLLM的Speculative Decoding vLLM 0.4+原生支持Speculative Decoding。 ...

投机解码：用小模型的"猜测"加速大模型 大模型推理的最大瓶颈是自回归生成的串行性——每生成一个 Token，都需要完整的前向传播。投机解码（Speculative Decoding）通过引入一个小型 Draft Model 来"猜测"多个 Token，再由大模型并行验证，打破了这一串行瓶颈。 一、标准推理的瓶颈 1.1 自回归推理 标准自回归推理中，生成 $N$ 个 Token 需要 $N$ 次串行前向传播： 步骤1: [prompt] → 大模型 → token_1 步骤2: [prompt, token_1] → 大模型 → token_2 步骤3: [prompt, token_1, token_2] → 大模型 → token_3 ... 步骤N: [prompt, token_1, ..., token_{N-1}] → 大模型 → token_N 总延迟 = N × 单步前向延迟 每次前向传播只生成 1 个 Token，但需要计算所有参数。对于 70B 模型，单步前向约 30ms，生成 1000 个 Token 需要约 30 秒。 1.2 为什么不能并行 自回归的数学约束： ...