NVIDIA 的 Vera Rubin NVL72 在加速量产，CoreWeave、谷歌云、Azure、Oracle、Mistral 都在部署。SemiAnalysis 2026 年 4 月的基准给了一个锚点：GB300 NVL72 的推理成本约 0.123 美元每百万 token。这个数字一出来，很多团队开始认真算账：既然推理这么便宜，我要不要自己买卡？
决策树的三刀
第一刀，看量级。月调用量在几千万 token 以下，调云 API 的账单也就几百美元，连一张卡的折旧都覆盖不了，直接用 API，别想自建。
第二刀，看利用率。自建集群的成本杀手是「卡闲着」。如果你的流量是白天高、夜里零，买满配集群等于半夜烧钱。这种波形，云 API 的弹性反而便宜——它按你实际用的计费。
第三刀，看数据合规。如果你的请求含不能出内网的数据，那无论算账划不划算，都得自建或本地部署。这时成本是合规税，不是选择题。
什么时候自建才划算
只有同时满足：流量大且稳定（一天到晚都有活）、峰值可预测、且团队有运维能力，自建小集群才开始跑赢云 API。而且别忽略隐性成本：电力、机房、运维人力、以及模型升级要自己折腾。
判断
0.123 美元每百万 token 是硬件裸成本，不是你的到手价。云厂商在上面叠了利润、冗余和服务。对绝大多数团队，正确姿势仍是先用云 API 跑到量级临界点，再谈自建——在你还没证明自己需要那么大流量之前，买卡是把利润提前付给了折旧。
补一个常被忽略的隐性账：自建的弹性成本。流量突然翻三倍时，你没有卡可加；云端 API 却能自动接住峰值，事后又自动回落。这种「为峰值买冗余」的账，对波动大的业务尤其要算进去。别只看平峰时的单价，要看你为峰值付出了多少闲置折旧，那张账单往往被漏掉。
在你证明自己需要那么大的稳定流量之前，买卡往往是把利润提前付给了折旧。先用云端，跑过临界点再谈自建。