十月十五日 NGC 上架 tensorrtllm-runtime-nightly 的新标签（20260809-5b33610），基于 CUDA 13 构建，带 Elastic Fabric Adapter（EFA）变体。同期 Dynamo 文档显示 vllm-runtime-nightly、sglang-runtime-nightly、tensorrtllm-runtime-nightly 三个容器都在 CUDA 13 线上滚动更新，每个都有 EFA 版本。这是英伟达把三家推理后端统一到 Dynamo 运行时层的最新动作。
三家后端为什么共用同一套容器？
过去 vLLM、SGLang、TensorRT-LLM 各管各的依赖、各发各的镜像，版本地狱是部署团队的噩梦。Dynamo 把它们包成同一运行时下的三个后端插件：底层 CUDA、NCCL、EFA、KV cache 传输、P/D 分离调度是共享的，上层后端可替换。团队可以同一套编排里，prefill 用 TensorRT-LLM、decode 用 vLLM，或者按模型切后端——不用为不同后端维护三套镜像。
CUDA 13 带来了什么？
CUDA 13 的核心改进是对 Blackwell 架构的完整暴露：TMA、warp-group、fp4 张量核、新的异步复制原语。夜间版基于 CUDA 13，意味着 TRT-LLM 的 kernel 可以直接调 Blackwell 原生指令，而不是通过兼容层。EFA 变体则是为跨节点推理准备的——多节点 P/D 分离时，decode 节点之间要走 RDMA 传 KV cache，EFA 是 AWS 云上的标准高速网卡。
夜间版能不能上生产？
夜间版的定位是尝鲜，不建议生产。但它的节奏很说明问题：每周一个标签，说明三家后端在 CUDA 13 上的收敛速度在加快。生产团队应该关注的是 v1.5.1（十月六日发布的稳定版）之后的下一个稳定版——如果那个版本把 CUDA 13 转正，意味着 Blackwell 一代的推理栈终于可以放心上量。
对部署工程师，今天能做的事是：把生产环境的 vLLM/SGLang/TensorRT-LLM 版本跟 NGC 夜间版对齐到同一 CUDA 大版本，这样稳定版一转正就能灰度。夜间版的 EFA 变体尤其值得跨节点部署团队关注——多节点 P/D 分离时，KV cache 通过 RDMA 在节点间传，EFA 是 AWS 云上的标准。如果你的推理服务跑在 AWS 上，应该提前在 EFA 实例上做夜间版的冒烟测试，而不是等稳定版出来才第一次碰。这是把「升级风险」提前暴露的标准做法。
对云厂商用户，EFA 变体的价值在于跨节点 KV cache 传输不占 TCP 栈。P/D 分离部署时，decode 节点要从 prefill 节点拉 KV cache，走 RDMA 比走 TCP 快一个数量级。如果你的推理服务还在单节点跑，这个夜间版暂时跟你没关系；但一旦准备跨节点扩展，EFA 镜像就是必备选项。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论