Decode

「prefill 与 decode 应该分开跑」在论文里讨论了好几年，但真正把它做成机架级产品的是 NVIDIA Dynamo：1.0 版今年 4 月发布，6 月迭代到 v1.2.0，成为 GB300 NVL72 上拿到 0.123 美元每百万 token 这个数字的关键软件栈之一。为什么概念不新，落地却等到今年？ 混跑为什么不行 一次推理天然分两段：prefill 把整个输入一次性算完，是计算密集；decode 一个 token 一个 token 出，是内存带宽密集。把它们放在同一批 GPU 上混跑，长请求的 prefill 会堵住短请求的 decode 排队，用户感受到的就是「首 token 慢、出字也慢」。 分离式服务的思路是：prefill 一批卡、decode 一批卡，中间靠高速 NVLink 传 KV cache，各用各的最优 batch size。道理简单，难在工程。 2026 年才凑齐的三块拼图 机架内带宽：GB300/Vera Rubin NVL72 的第六代 NVLink，让 KV cache 在 prefill 池与 decode 池之间搬运不成为瓶颈。以前跨机柜 InfiniBand 搬 KV，延迟直接吃掉收益。 路由智能：Dynamo 的分离式路由器要判断请求在远端 prefill 还是本地分块 prefill，v1.2 还专门加了 prefill_load_scale 参数做负载打分。 多模态扩展：9 月文档进一步把 encode 也拆出来，形成 encode-prefill-decode 三段分离，给视觉编码与 LLM 不同资源池。 对部署团队的含义 分离式推理不再是大厂专利。如果你已经在 GB300 这类机架上做生产服务，Dynamo 类方案让你可以按「计算池」与「带宽池」分别扩容，而不是买一个通用大池子盲目堆卡。对自建团队，判断自己是否需要分离式，先看监控里 prefill 与 decode 的排队时间谁长——前者瓶颈在算力，后者在带宽，治理方向完全不同。 ...