用 SemiAnalysis 的 $0.123 算清账：什么时候才值得租一台 GB300 NVL72
10 月初 NVIDIA 在官网基准页重申，GB300 NVL72 用 Dynamo 加 TensorRT-LLM 做到 $0.123/百万 token、约 116 TPS/用户交互，据 SemiAnalysis InferenceX 2026 年 4 月基准；DeepSeek-R1 这类大模型在 GB300 上约 $0.04/百万 token。数字漂亮，但对一个月烧几万 API 费的小团队，真正的问题是：我要跑到多大，自建才比调云 API 划算？ $0.123 每百万 token 这个价到底怎么来的？ 这个单价是「整柜满载」的理论下限，不是你开机就有的价。它假设 72 卡 NVL72 机柜跑满、prefill 与 decode 用 Dynamo 拆开、TensorRT-LLM 提前编译好 engine。你要为这个价付的是：整柜采购或长租、机房电力、以及空载损失——机柜不可能满负荷，业界经验值利用率在六到七成之间。 所以真实单 token 成本约等于 $0.123 除以利用率。按六成五算，约 $0.19/百万 token。这才是你该填进表里的数，直接拿 $0.123 做预算是会亏的。 日消耗到多少 token 才值得自建机柜？ 拿公开 API 价做对照（输入输出混合均价，约数）：旗舰闭源模型每百万 token 约数美元，主流开源托管价约零点五到一点五美元，而你的自建成本约 $0.19。盈亏平衡点这样算：当「机柜月租金加运维人力」除以你的月 token 量之后，低于云 API 单价，自建才划算。 粗算下来，一个稳定跑开源模型、日消耗稳定在数十亿 token 以上、且请求波形平缓能满载的团队，才勉强摸到这条线。日消耗在几亿 token 以内、流量潮汐明显的团队，自建大概率亏。 ...