Step 3.7 Flash 的 MTP-3 提速：vLLM 和 SGLang 的开关为什么不一样？
StepFun 的 Step 3.7 Flash 最近在 vLLM、SGLang、NIM、阿里云百炼上同步上架。它是稀疏 MoE：196B 总参数，每 token 激活约 11B，256K 上下文，原生带视觉编码器。卖点是 3 路多 token 预测（MTP-3）把生成吞吐拉到 100 到 300 tok/s，编码场景峰值 350 tok/s。但 Hivebook 的部署笔记里指出一个坑：MTP 不是开一个开关就行，不同推理栈的配置口径完全不一样。 MTP-3 到底在预测什么？ 传统自回归一次出一个 token。MTP 头在预训练时就额外加了几个预测头，让模型在前向一次里同时猜测未来 1、2、3 个 token。推理时这三个候选 token 被并行接受或拒绝，类似投机解码，但草稿头是模型自带的而不是另一个小模型。3 路 MTP 理论上能把解码吞吐翻 2 到 3 倍，前提是接受率够高。 vLLM 和 SGLang 的开关为什么不一样？ vLLM 要写 --speculative_config 为 JSON，method 指定 mtp，num_speculative_tokens 给 3。SGLang 走 EAGLE 路径，参数是 --speculative-algorithm EAGLE --speculative-num-steps 3。同一套 MTP 权重，两个栈的调用名完全不同，一个走 mtp 方法，一个走 EAGLE 兼容层。这意味着迁移工作负载时不能只搬权重，要重新调 speculative 配置，否则跑出来的吞吐可能只是基线自回归，白瞎了 MTP 头。 ...