自回归

引言 大模型的自回归生成是自然语言生成的黄金标准——每次生成一个token，串行依赖导致推理速度受限于内存带宽而非算力。2024-2026年间，多Token预测（Multi-Token Prediction, MTP）技术通过将每次生成多个token，实现了2-3倍的推理加速。这一技术已从学术论文走向产业实践，DeepSeek-V3、Gemini 2.0等模型均采用了类似技术。本文将深入解析MTP的原理、实现和最新进展。 自回归生成的瓶颈 标准自回归 标准自回归生成： $$ p(x) = \prod_{t=1}^T p(x_t | x_{<t}) $$ 每个token的生成需要完整的模型前向传播，受限于GPU内存带宽（memory-bound）： 生成速度 ≈ GPU内存带宽 / (参数量 × 每参数字节数) 以Llama-3-70B为例，参数量140GB（FP16），A100-80GB显存带宽2TB/s，理论生成速度约15 tokens/s。 瓶颈分析 瓶颈类型 原因 影响程度 内存带宽 每token需加载全部参数 高 串行依赖 无法并行生成多个token 高 KV Cache IO 长上下文时KV Cache占用大 中 解码算法 Beam Search等增加计算 中 多Token预测：核心思想 基本形式 MTP在单次前向传播中预测多个未来token： $$ p(x_{t+1}, x_{t+2}, \dots, x_{t+k} | x_{\le t}) $$ 关键优势：单次前向传播生成 $k$ 个token，理论上加速 $k$ 倍。 独立头方案（DeepSeek-V3） DeepSeek-V3采用多个独立的输出头，每个头预测不同偏移量的token： class MultiTokenPredictionHeads(nn.Module): def __init__(self, d_model, vocab_size, n_predict=3): super().__init__() self.n_predict = n_predict # 每个预测偏移量一个独立头 self.heads = nn.ModuleList([ nn.Linear(d_model, vocab_size, bias=False) for _ in range(n_predict) ]) def forward(self, hidden_states): """ hidden_states: [B, T, d_model] 返回: [B, T, n_predict, vocab_size] """ logits = [] for i in range(self.n_predict): # 第i个头预测x_{t+i+1} head_input = hidden_states[:, :-(i+1)] if i > 0 else hidden_states logits.append(self.heads[i](head_input)) return torch.stack(logits, dim=2) 训练目标 MTP的训练损失： ...