投机解码深度解析：让 LLM 推理快 3 倍
自回归推理的瓶颈 标准自回归解码每次只生成 1 个 token，每个 token 都需要完整前向传播： $$t_{\text{per_token}} = t_{\text{prefill}} + t_{\text{decode}}$$ 其中 decode 阶段是访存密集型的——计算量小但需要加载全部权重和 KV Cache，GPU 利用率通常 <10%。 投机解码的核心洞察：用小模型快速生成草稿，大模型批量验证，将多次串行 decode 变为一次并行验证。 投机解码原理 算法流程 1. Draft Model 快速生成 k 个候选 token: [t1, t2, ..., tk] 2. Target Model 一次前向传播计算这 k 个位置的 logits 3. 对每个候选 token，按拒绝采样决定接受/拒绝: - 若 p_target(ti) / p_draft(ti) >= 1: 接受 - 否则以概率 p_target(ti)/p_draft(ti) 接受，否则拒绝并从调整分布重采样 4. 接受的 token 加入序列，从拒绝点重新开始 拒绝采样数学 对于候选 token $x_i$，定义接受概率： $$\alpha(x_i) = \min\left(1, \frac{p_{\text{target}}(x_i)}{p_{\text{draft}}(x_i)}\right)$$ ...