分离式推理

「prefill 与 decode 应该分开跑」在论文里讨论了好几年，但真正把它做成机架级产品的是 NVIDIA Dynamo：1.0 版今年 4 月发布，6 月迭代到 v1.2.0，成为 GB300 NVL72 上拿到 0.123 美元每百万 token 这个数字的关键软件栈之一。为什么概念不新，落地却等到今年？ 混跑为什么不行 一次推理天然分两段：prefill 把整个输入一次性算完，是计算密集；decode 一个 token 一个 token 出，是内存带宽密集。把它们放在同一批 GPU 上混跑，长请求的 prefill 会堵住短请求的 decode 排队，用户感受到的就是「首 token 慢、出字也慢」。 分离式服务的思路是：prefill 一批卡、decode 一批卡，中间靠高速 NVLink 传 KV cache，各用各的最优 batch size。道理简单，难在工程。 2026 年才凑齐的三块拼图 机架内带宽：GB300/Vera Rubin NVL72 的第六代 NVLink，让 KV cache 在 prefill 池与 decode 池之间搬运不成为瓶颈。以前跨机柜 InfiniBand 搬 KV，延迟直接吃掉收益。 路由智能：Dynamo 的分离式路由器要判断请求在远端 prefill 还是本地分块 prefill，v1.2 还专门加了 prefill_load_scale 参数做负载打分。 多模态扩展：9 月文档进一步把 encode 也拆出来，形成 encode-prefill-decode 三段分离，给视觉编码与 LLM 不同资源池。 对部署团队的含义 分离式推理不再是大厂专利。如果你已经在 GB300 这类机架上做生产服务，Dynamo 类方案让你可以按「计算池」与「带宽池」分别扩容，而不是买一个通用大池子盲目堆卡。对自建团队，判断自己是否需要分离式，先看监控里 prefill 与 decode 的排队时间谁长——前者瓶颈在算力，后者在带宽，治理方向完全不同。 ...

NVIDIA 自家 FAQ 页挂着一个让人愣一下的数字：在 GB300 NVL72 上跑 DeepSeek-R1 671B，按 SemiAnalysis InferenceX 口径，每百万 token 成本约 4 美分。这比通用模型的 0.123 美元还低一个数量级。差异不在模型大小，而在拓扑——NVIDIA 官方示例给出的配置是：上下文阶段用 EP4DP16，生成阶段用 EP64DP3。这串缩写是 2026 年 MoE 推理最核心的工程决策。 MoE 推理的两次瓶颈 DeepSeek-R1 是混合专家（MoE）模型：总参数 671B，但每个 token 只激活约 37B。这带来两个截然不同的瓶颈。 Prefill（上下文处理）：要把整段输入过一遍网络，每个 token 路由到不同专家，计算密集，但对延迟容忍度稍高。 Decode（逐 token 生成）：每步只出一个 token，但要快速把被路由专家的权重从显存里读出来，带宽密集，对延迟极其敏感。 同一张 GPU 池子里混跑这两个阶段，会互相拖累：长上下文 prefill 堵住 decode 的排队，decode 的小批次又浪费 prefill 的算力。 EP4DP16 与 EP64DP3 在干什么 EP 是专家并行，DP 是数据并行。官方示例里，上下文阶段用 EP4DP16：4 组专家并行、16 路数据并行，偏计算效率；生成阶段切到 EP64DP3：64 路专家并行、3 路数据并行，把专家权重尽量铺开，缩短每步加载时间。 这不是简单的「切更多卡」。它要求调度层在同一请求生命周期里切换并行拓扑，把 prefill 完的 KV cache 从一组卡安全搬到另一组卡——Dynamo 的分离式路由、NVLink 的机架内带宽，都是为这件事服务的。 ...