SemiAnalysis

10 月初 NVIDIA 在官网基准页重申，GB300 NVL72 用 Dynamo 加 TensorRT-LLM 做到 $0.123/百万 token、约 116 TPS/用户交互，据 SemiAnalysis InferenceX 2026 年 4 月基准；DeepSeek-R1 这类大模型在 GB300 上约 $0.04/百万 token。数字漂亮，但对一个月烧几万 API 费的小团队，真正的问题是：我要跑到多大，自建才比调云 API 划算？ $0.123 每百万 token 这个价到底怎么来的？ 这个单价是「整柜满载」的理论下限，不是你开机就有的价。它假设 72 卡 NVL72 机柜跑满、prefill 与 decode 用 Dynamo 拆开、TensorRT-LLM 提前编译好 engine。你要为这个价付的是：整柜采购或长租、机房电力、以及空载损失——机柜不可能满负荷，业界经验值利用率在六到七成之间。 所以真实单 token 成本约等于 $0.123 除以利用率。按六成五算，约 $0.19/百万 token。这才是你该填进表里的数，直接拿 $0.123 做预算是会亏的。 日消耗到多少 token 才值得自建机柜？ 拿公开 API 价做对照（输入输出混合均价，约数）：旗舰闭源模型每百万 token 约数美元，主流开源托管价约零点五到一点五美元，而你的自建成本约 $0.19。盈亏平衡点这样算：当「机柜月租金加运维人力」除以你的月 token 量之后，低于云 API 单价，自建才划算。 粗算下来，一个稳定跑开源模型、日消耗稳定在数十亿 token 以上、且请求波形平缓能满载的团队，才勉强摸到这条线。日消耗在几亿 token 以内、流量潮汐明显的团队，自建大概率亏。 ...

NVIDIA 官网性能页至今挂着一行字：GB300 NVL72 在单用户交互 116 TPS 的场景下，用 NVIDIA Dynamo 加 TensorRT-LLM 实现每百万 token 0.123 美元的推理成本，依据是截至 2026 年 4 月的 SemiAnalysis InferenceX 基准，号称主流平台里每 token 最低。10 月 7 日 NVIDIA 公布 SpaceXAI 部署 Vera CPU、Vera Rubin NVL72 量产加速，这个数字又被翻出来引用。问题是：0.123 到底是硬件白送的，还是工程堆出来的？ 这个数字的三个前提 先把前提摆清楚，否则容易误读。第一，0.123 是「单用户交互吞吐 116 TPS」这个特定工作点上的成本，不是所有负载通吃。第二，它依赖 Dynamo 与 TensorRT-LLM 的协同栈，换 vLLM 或裸跑不一定拿到同样数字。第三，对比基准是 SemiAnalysis 的 InferenceX，口径由第三方定义，NVIDIA 自己引用。 成本下降来自四层叠加 按 NVIDIA 自家与 SemiAnalysis 的拆解，这笔账不是单靠 GPU 换代： 硬件层：Blackwell Ultra 的 HBM 容量与带宽、第五代 NVLink 机架互联，让 72 卡 NVL72 作为一个整体被调度，而不是 72 张孤立的卡。 精度层：MXFP4/MXFP8 配合 DeepGEMM 内核，把权重与激活压到 4 比特而不掉可用精度，等效吞吐接近翻番。 服务层：Dynamo 把 prefill 与 decode 拆到不同资源池，长上下文与高并发各取所需；官方称仅靠软件优化单轮吞吐就提升约 2.7 倍。 规模层：在 Agent 类低延迟负载上，GB300 相对 Hopper 每百万 token 成本最高降约 35 倍，每兆瓦吞吐提升约 50 倍；跑 DeepSeek-R1 671B 这种 MoE 时，SemiAnalysis 给出的成本甚至低至每百万 token 约 4 美分。 对选型者的实际含义 如果你是推理服务商，0.123 这个数字的正确用法不是「拿来对标 API 报价」，而是反推自己的缺口：同样的硬件，软件栈没对齐，成本可能差出数倍。如果你是应用方，要盯的是自己的真实工作点——长上下文批量离线与交互式 Agent 走的是两条完全不同的成本曲线，用一个数字做预算必然翻车。 ...

SemiAnalysis InferenceX 的 2026 年基准数据，拼出了一条陡峭下探的推理成本曲线：GB300 NVL72 在 116 TPS 交互下约每百万 token 0.123 美元，面向智能体低延迟负载比 Hopper 低约 35 倍、每兆瓦吞吐提升约 50 倍；在更大的模型上，DeepSeek-R1 约 0.04 美元每百万 token，开源 GPT-OSS-120B 经 TensorRT-LLM 优化后据称低至约 0.02 美元。这条曲线不是营销数字，它正在改写所有智能体的经济模型。 三个量级变化 把这些数字按时间排开，能看到三个台阶： Hopper 时代：智能体多轮调用的成本高到让团队舍不得放手跑，任务一长账单就吓人。 Blackwell Ultra 时代：GB300 把智能体低延迟成本砍到约三十五分之一，常驻值守在经济上第一次成立。 开源大模型时代：DeepSeek-R1、GPT-OSS-120B 把成本压到每百万 token 两到四美分，本地私有化推理开始有利可图。 关键不是绝对数字，而是斜率——成本下探的速度，比过去十年任何软件品类都快。 成本下探意味着什么 这条曲线的前沿后果有三： 任务变长变复杂：因为每步调用便宜了，团队敢让智能体跑几十轮、调几十个工具，而不是只做一问一答。 私有化部署回潮：开源大模型加低成本硬件，让数据敏感的企业敢于把智能体搬回自己机房。 新应用形态冒头：只有在 token 足够便宜时才成立的产品——比如全天候监控、批量深度研究——才突然变得可行。 一个保留 成本基准来自 NVIDIA 援引的 SemiAnalysis 数据，特定配置、特定上下文长度下成立；真实账单还要叠加缓存命中、重试、上下文膨胀这些工程损耗。但方向无可争议：思考的边际成本正在趋近于零，这是所有后续产品形态的地基。 再补一个容易被忽略的变量：软件优化本身的贡献。NVIDIA 的材料提到，仅凭 TensorRT-LLM 的优化，两个月内就把单 token 成本又压了约五倍，GPT-OSS-120B 因此低至约每百万 token 两美分。这说明成本下探不全靠新硬件，工程侧的红利同样丰厚——对不买新卡的团队，这是个实打实的好消息。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本曲线