10 月初 NVIDIA 在官网基准页重申，GB300 NVL72 用 Dynamo 加 TensorRT-LLM 做到 $0.123/百万 token、约 116 TPS/用户交互，据 SemiAnalysis InferenceX 2026 年 4 月基准；DeepSeek-R1 这类大模型在 GB300 上约 $0.04/百万 token。数字漂亮，但对一个月烧几万 API 费的小团队，真正的问题是：我要跑到多大，自建才比调云 API 划算？
$0.123 每百万 token 这个价到底怎么来的？
这个单价是「整柜满载」的理论下限，不是你开机就有的价。它假设 72 卡 NVL72 机柜跑满、prefill 与 decode 用 Dynamo 拆开、TensorRT-LLM 提前编译好 engine。你要为这个价付的是：整柜采购或长租、机房电力、以及空载损失——机柜不可能满负荷，业界经验值利用率在六到七成之间。
所以真实单 token 成本约等于 $0.123 除以利用率。按六成五算，约 $0.19/百万 token。这才是你该填进表里的数，直接拿 $0.123 做预算是会亏的。
日消耗到多少 token 才值得自建机柜？
拿公开 API 价做对照（输入输出混合均价，约数）：旗舰闭源模型每百万 token 约数美元，主流开源托管价约零点五到一点五美元，而你的自建成本约 $0.19。盈亏平衡点这样算：当「机柜月租金加运维人力」除以你的月 token 量之后，低于云 API 单价，自建才划算。
粗算下来，一个稳定跑开源模型、日消耗稳定在数十亿 token 以上、且请求波形平缓能满载的团队，才勉强摸到这条线。日消耗在几亿 token 以内、流量潮汐明显的团队，自建大概率亏。
流量潮汐会怎么影响这笔自建账？
Agent 工作流的 token 不是均匀来的，白天高、半夜低。若你的业务七成集中在工作时段，机柜半夜空转，利用率直接砍半，盈亏平衡点又往后推一大截。这也是为什么重度 Agent 玩家敢自建，而大多数中小企业更该把负载拆成「实时走云 API、半夜批处理租 GPU」的混合模式。
十人团队到底该不该碰 GB300？
$0.123 是给超大规模云厂商的数字，不是给十人团队的。先把自己一个月的 token 用量、波形、SLA 填进这张表，再决定要不要碰机柜——大多数团队算完会发现，把 Dynamo 式的「prefill 与 decode 分离」思路用到云 API 批处理上，省的钱已经够了。