它为什么能加速又不掉质量

自回归解码有个天然瓶颈：生成第 N 个 token 必须等第 N-1 个算完，一步一步串行，GPU 大量算力在干等。投机解码（speculative decoding）绕过这个瓶颈：先让一个小而快的 draft 模型一口气猜后面 8 到 16 个 token，再让主模型用一次批量前向同时验证这一串猜测——猜对的直接采纳，猜错的从错处重算。关键在于验证用的是主模型同分布的采样规则（拒绝采样），所以输出和主模型逐字生成完全等价，质量不掉，速度却能提升。这是它比量化之类有损加速更迷人的地方：无损提速。

两条路线：独立 draft 与自带 MTP

2026 年的生态里，投机解码分两路。一路是经典 draft 模型：从同一个模型家族里挑一个更小的兄弟当 drafter，比如用 Qwen2.5-0.5B 配 Qwen2.5-7B，在 llama.cpp 里用 --spec-draft-model 指过去。另一路是自带的多 token 预测头（MTP）：像 DeepSeek V4 附带的 DSpark drafter、Qwen4Exp、Kimi K3，把草稿模块直接训进了权重，不用你另找小模型，开箱即用——而且同分布，接受率天然高。llama.cpp v0.6.0 已经把 Qwen4Exp 的 MTP 投机解码纳入稳定支持。

命令行怎么开

llama-server 里典型的开法是：

llama-server --model target-Q4_K_M.gguf \
  --spec-draft-model draft-Q4_K_M.gguf \
  --spec-type draft-simple \
  --spec-draft-n-max 8 \
  --n-gpu-layers 99

--spec-draft-n-max 控制一次猜几个（默认约 16，太大反而拖慢）。跑起来后 stderr 会打印 accepted / rejected 的比例，这是你判断效果的唯一硬指标。

三个必踩的坑

第一，词表必须匹配：draft 和 target 一定要同家族同 tokenizer，否则要么加载报错，要么接受率惨不忍睹——这是新手最常见的翻车。第二，接受率是硬道理：同分布时端到端吞吐能提 1.5 到 3 倍；一旦接受率低，你白烧了 draft 的算力还没赚到速度。所以先看日志里的接受率，低于四五成就该换 drafter 或关掉。第三，长输出才划算：短问答（十几个 token）还没猜完就结束了，加速不明显；长文写作、代码生成这类长输出场景，收益才显著。

收束

投机解码是本地推理从「够跑」到「跑得快」的关键一招，而且无损。但它不是开关一拨就灵——选对同家族 draft、盯住接受率、用在长输出上，三个条件凑齐才有翻倍效果。2026 年自带 MTP 的模型越来越多，这个红利会越来越容易吃到；对还在用独立 draft 的人，记住「先看接受率」，比盲目调参数重要得多。

去论坛讨论

关于「投机解码」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。