NVIDIA 官网性能页至今挂着一行字：GB300 NVL72 在单用户交互 116 TPS 的场景下，用 NVIDIA Dynamo 加 TensorRT-LLM 实现每百万 token 0.123 美元的推理成本，依据是截至 2026 年 4 月的 SemiAnalysis InferenceX 基准，号称主流平台里每 token 最低。10 月 7 日 NVIDIA 公布 SpaceXAI 部署 Vera CPU、Vera Rubin NVL72 量产加速，这个数字又被翻出来引用。问题是：0.123 到底是硬件白送的，还是工程堆出来的？

这个数字的三个前提

先把前提摆清楚，否则容易误读。第一，0.123 是「单用户交互吞吐 116 TPS」这个特定工作点上的成本，不是所有负载通吃。第二，它依赖 Dynamo 与 TensorRT-LLM 的协同栈，换 vLLM 或裸跑不一定拿到同样数字。第三，对比基准是 SemiAnalysis 的 InferenceX，口径由第三方定义，NVIDIA 自己引用。

成本下降来自四层叠加

按 NVIDIA 自家与 SemiAnalysis 的拆解，这笔账不是单靠 GPU 换代：

  • 硬件层：Blackwell Ultra 的 HBM 容量与带宽、第五代 NVLink 机架互联，让 72 卡 NVL72 作为一个整体被调度，而不是 72 张孤立的卡。
  • 精度层：MXFP4/MXFP8 配合 DeepGEMM 内核，把权重与激活压到 4 比特而不掉可用精度，等效吞吐接近翻番。
  • 服务层：Dynamo 把 prefill 与 decode 拆到不同资源池，长上下文与高并发各取所需；官方称仅靠软件优化单轮吞吐就提升约 2.7 倍。
  • 规模层：在 Agent 类低延迟负载上，GB300 相对 Hopper 每百万 token 成本最高降约 35 倍，每兆瓦吞吐提升约 50 倍；跑 DeepSeek-R1 671B 这种 MoE 时，SemiAnalysis 给出的成本甚至低至每百万 token 约 4 美分。

对选型者的实际含义

如果你是推理服务商，0.123 这个数字的正确用法不是「拿来对标 API 报价」，而是反推自己的缺口：同样的硬件，软件栈没对齐，成本可能差出数倍。如果你是应用方，要盯的是自己的真实工作点——长上下文批量离线与交互式 Agent 走的是两条完全不同的成本曲线，用一个数字做预算必然翻车。

还有一点容易被忽略：这个 0.123 是厂商在自家最优配置下跑出的甜点价，真实部署里网络、排队、失败重试都会把账单往上推。把它当成「硬件软件全部对齐后能摸到的下限」更稳妥，而不是对客户承诺的报价。

去论坛讨论

这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：GB300 推理成本