GB300

NVIDIA 官方反复强调，GB300 NVL72 那 $0.123/百万 token、约 116 TPS/用户的数字，是用 Dynamo 加 TensorRT-LLM 打出来的，不是开箱即用的通用框架。TensorRT-LLM 的核心动作是「先编译 engine，再加载服务」——这和一条命令拉起的范式完全不同。想在自己的 Blackwell 卡上逼近官方数字，就得过 build engine 这一关。 TensorRT-LLM 为什么要先编译后运行？ 第一步，把开源模型转成中间 checkpoint，再 build 成针对你这套 GPU 拓扑优化的 engine。关键编译参数包括：最大批大小、最大序列长度、张量并行度、是否开启分页 KV cache。这些参数一旦定死，engine 就定型了，改任何一个都要重新编译。第二步，用编译好的 engine 起推理服务，这时你会发现启动快得多——因为重活已经在 build 时干完了。 哪三个参数最容易踩错？ 最大序列长度设太大会让 engine 体积暴涨、显存预留过多；按业务真实 P99 长度设，不要拍脑袋给一个远超需要的值。张量并行度要和你实际卡数一致，八卡机器别 build 成四路并行。分页 KV cache 的块大小影响显存碎片，默认值通常够用，但长上下文场景值得微调。 编译报错该怎么一步步排查？ build 阶段最常见的错是模型与算子不兼容——某些自定义算子在新架构上需要最新版 TensorRT-LLM。遇到算子不支持，先查版本，别急着改模型。另一个坑是 build 很吃磁盘和显存，build 时最好独占机器，别和别的任务抢显存。 编译耗时和版本升级要注意什么？ 要有心理准备：编译 engine 在大模型上可能要几十分钟甚至更久，这是一次性成本，但团队会因此倾向于少改配置。建议把常用配置固化成脚本和模板，build 过程放进缓存——同一套参数、同一版本工具链，不必每次重编。另外，工具链小版本升级后，旧 engine 未必能加载，升级前先在测试环境重新编译一遍验证，别在生产上原地升级，否则一次启动失败就是全站事故。 什么场景才值得用 TensorRT-LLM？ TensorRT-LLM 的性能上限确实高，但它把灵活性换成了「编译期定型」。对追求极限单 token 成本、流量波形平稳的在线服务，值得投入；对需要频繁换模型、频繁调参的研发环境，通用动态框架仍然更顺手。选哪个，看你是要稳态产能还是要迭代速度。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：TensorRTLLM部署

10 月初 NVIDIA 在官网基准页重申，GB300 NVL72 用 Dynamo 加 TensorRT-LLM 做到 $0.123/百万 token、约 116 TPS/用户交互，据 SemiAnalysis InferenceX 2026 年 4 月基准；DeepSeek-R1 这类大模型在 GB300 上约 $0.04/百万 token。数字漂亮，但对一个月烧几万 API 费的小团队，真正的问题是：我要跑到多大，自建才比调云 API 划算？ $0.123 每百万 token 这个价到底怎么来的？ 这个单价是「整柜满载」的理论下限，不是你开机就有的价。它假设 72 卡 NVL72 机柜跑满、prefill 与 decode 用 Dynamo 拆开、TensorRT-LLM 提前编译好 engine。你要为这个价付的是：整柜采购或长租、机房电力、以及空载损失——机柜不可能满负荷，业界经验值利用率在六到七成之间。 所以真实单 token 成本约等于 $0.123 除以利用率。按六成五算，约 $0.19/百万 token。这才是你该填进表里的数，直接拿 $0.123 做预算是会亏的。 日消耗到多少 token 才值得自建机柜？ 拿公开 API 价做对照（输入输出混合均价，约数）：旗舰闭源模型每百万 token 约数美元，主流开源托管价约零点五到一点五美元，而你的自建成本约 $0.19。盈亏平衡点这样算：当「机柜月租金加运维人力」除以你的月 token 量之后，低于云 API 单价，自建才划算。 粗算下来，一个稳定跑开源模型、日消耗稳定在数十亿 token 以上、且请求波形平缓能满载的团队，才勉强摸到这条线。日消耗在几亿 token 以内、流量潮汐明显的团队，自建大概率亏。 ...

NVIDIA 自家 FAQ 页挂着一个让人愣一下的数字：在 GB300 NVL72 上跑 DeepSeek-R1 671B，按 SemiAnalysis InferenceX 口径，每百万 token 成本约 4 美分。这比通用模型的 0.123 美元还低一个数量级。差异不在模型大小，而在拓扑——NVIDIA 官方示例给出的配置是：上下文阶段用 EP4DP16，生成阶段用 EP64DP3。这串缩写是 2026 年 MoE 推理最核心的工程决策。 MoE 推理的两次瓶颈 DeepSeek-R1 是混合专家（MoE）模型：总参数 671B，但每个 token 只激活约 37B。这带来两个截然不同的瓶颈。 Prefill（上下文处理）：要把整段输入过一遍网络，每个 token 路由到不同专家，计算密集，但对延迟容忍度稍高。 Decode（逐 token 生成）：每步只出一个 token，但要快速把被路由专家的权重从显存里读出来，带宽密集，对延迟极其敏感。 同一张 GPU 池子里混跑这两个阶段，会互相拖累：长上下文 prefill 堵住 decode 的排队，decode 的小批次又浪费 prefill 的算力。 EP4DP16 与 EP64DP3 在干什么 EP 是专家并行，DP 是数据并行。官方示例里，上下文阶段用 EP4DP16：4 组专家并行、16 路数据并行，偏计算效率；生成阶段切到 EP64DP3：64 路专家并行、3 路数据并行，把专家权重尽量铺开，缩短每步加载时间。 这不是简单的「切更多卡」。它要求调度层在同一请求生命周期里切换并行拓扑，把 prefill 完的 KV cache 从一组卡安全搬到另一组卡——Dynamo 的分离式路由、NVLink 的机架内带宽，都是为这件事服务的。 ...

NVIDIA 官网性能页至今挂着一行字：GB300 NVL72 在单用户交互 116 TPS 的场景下，用 NVIDIA Dynamo 加 TensorRT-LLM 实现每百万 token 0.123 美元的推理成本，依据是截至 2026 年 4 月的 SemiAnalysis InferenceX 基准，号称主流平台里每 token 最低。10 月 7 日 NVIDIA 公布 SpaceXAI 部署 Vera CPU、Vera Rubin NVL72 量产加速，这个数字又被翻出来引用。问题是：0.123 到底是硬件白送的，还是工程堆出来的？ 这个数字的三个前提 先把前提摆清楚，否则容易误读。第一，0.123 是「单用户交互吞吐 116 TPS」这个特定工作点上的成本，不是所有负载通吃。第二，它依赖 Dynamo 与 TensorRT-LLM 的协同栈，换 vLLM 或裸跑不一定拿到同样数字。第三，对比基准是 SemiAnalysis 的 InferenceX，口径由第三方定义，NVIDIA 自己引用。 成本下降来自四层叠加 按 NVIDIA 自家与 SemiAnalysis 的拆解，这笔账不是单靠 GPU 换代： 硬件层：Blackwell Ultra 的 HBM 容量与带宽、第五代 NVLink 机架互联，让 72 卡 NVL72 作为一个整体被调度，而不是 72 张孤立的卡。 精度层：MXFP4/MXFP8 配合 DeepGEMM 内核，把权重与激活压到 4 比特而不掉可用精度，等效吞吐接近翻番。 服务层：Dynamo 把 prefill 与 decode 拆到不同资源池，长上下文与高并发各取所需；官方称仅靠软件优化单轮吞吐就提升约 2.7 倍。 规模层：在 Agent 类低延迟负载上，GB300 相对 Hopper 每百万 token 成本最高降约 35 倍，每兆瓦吞吐提升约 50 倍；跑 DeepSeek-R1 671B 这种 MoE 时，SemiAnalysis 给出的成本甚至低至每百万 token 约 4 美分。 对选型者的实际含义 如果你是推理服务商，0.123 这个数字的正确用法不是「拿来对标 API 报价」，而是反推自己的缺口：同样的硬件，软件栈没对齐，成本可能差出数倍。如果你是应用方，要盯的是自己的真实工作点——长上下文批量离线与交互式 Agent 走的是两条完全不同的成本曲线，用一个数字做预算必然翻车。 ...

NVIDIA 的 Vera Rubin NVL72 在加速量产，CoreWeave、谷歌云、Azure、Oracle、Mistral 都在部署。SemiAnalysis 2026 年 4 月的基准给了一个锚点：GB300 NVL72 的推理成本约 0.123 美元每百万 token。这个数字一出来，很多团队开始认真算账：既然推理这么便宜，我要不要自己买卡？ 决策树的三刀 第一刀，看量级。月调用量在几千万 token 以下，调云 API 的账单也就几百美元，连一张卡的折旧都覆盖不了，直接用 API，别想自建。 第二刀，看利用率。自建集群的成本杀手是「卡闲着」。如果你的流量是白天高、夜里零，买满配集群等于半夜烧钱。这种波形，云 API 的弹性反而便宜——它按你实际用的计费。 第三刀，看数据合规。如果你的请求含不能出内网的数据，那无论算账划不划算，都得自建或本地部署。这时成本是合规税，不是选择题。 什么时候自建才划算 只有同时满足：流量大且稳定（一天到晚都有活）、峰值可预测、且团队有运维能力，自建小集群才开始跑赢云 API。而且别忽略隐性成本：电力、机房、运维人力、以及模型升级要自己折腾。 判断 0.123 美元每百万 token 是硬件裸成本，不是你的到手价。云厂商在上面叠了利润、冗余和服务。对绝大多数团队，正确姿势仍是先用云 API 跑到量级临界点，再谈自建——在你还没证明自己需要那么大流量之前，买卡是把利润提前付给了折旧。 补一个常被忽略的隐性账：自建的弹性成本。流量突然翻三倍时，你没有卡可加；云端 API 却能自动接住峰值，事后又自动回落。这种「为峰值买冗余」的账，对波动大的业务尤其要算进去。别只看平峰时的单价，要看你为峰值付出了多少闲置折旧，那张账单往往被漏掉。 在你证明自己需要那么大的稳定流量之前，买卡往往是把利润提前付给了折旧。先用云端，跑过临界点再谈自建。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本

SemiAnalysis InferenceX 的 2026 年基准数据，拼出了一条陡峭下探的推理成本曲线：GB300 NVL72 在 116 TPS 交互下约每百万 token 0.123 美元，面向智能体低延迟负载比 Hopper 低约 35 倍、每兆瓦吞吐提升约 50 倍；在更大的模型上，DeepSeek-R1 约 0.04 美元每百万 token，开源 GPT-OSS-120B 经 TensorRT-LLM 优化后据称低至约 0.02 美元。这条曲线不是营销数字，它正在改写所有智能体的经济模型。 三个量级变化 把这些数字按时间排开，能看到三个台阶： Hopper 时代：智能体多轮调用的成本高到让团队舍不得放手跑，任务一长账单就吓人。 Blackwell Ultra 时代：GB300 把智能体低延迟成本砍到约三十五分之一，常驻值守在经济上第一次成立。 开源大模型时代：DeepSeek-R1、GPT-OSS-120B 把成本压到每百万 token 两到四美分，本地私有化推理开始有利可图。 关键不是绝对数字，而是斜率——成本下探的速度，比过去十年任何软件品类都快。 成本下探意味着什么 这条曲线的前沿后果有三： 任务变长变复杂：因为每步调用便宜了，团队敢让智能体跑几十轮、调几十个工具，而不是只做一问一答。 私有化部署回潮：开源大模型加低成本硬件，让数据敏感的企业敢于把智能体搬回自己机房。 新应用形态冒头：只有在 token 足够便宜时才成立的产品——比如全天候监控、批量深度研究——才突然变得可行。 一个保留 成本基准来自 NVIDIA 援引的 SemiAnalysis 数据，特定配置、特定上下文长度下成立；真实账单还要叠加缓存命中、重试、上下文膨胀这些工程损耗。但方向无可争议：思考的边际成本正在趋近于零，这是所有后续产品形态的地基。 再补一个容易被忽略的变量：软件优化本身的贡献。NVIDIA 的材料提到，仅凭 TensorRT-LLM 的优化，两个月内就把单 token 成本又压了约五倍，GPT-OSS-120B 因此低至约每百万 token 两美分。这说明成本下探不全靠新硬件，工程侧的红利同样丰厚——对不买新卡的团队，这是个实打实的好消息。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本曲线

按 NVIDIA 援引 SemiAnalysis InferenceX 2026 年 4 月的基准，GB300 NVL72 在 116 TPS 的交互体验下，推理成本约为每百万 token 0.123 美元；面向智能体低延迟工作负载，单 token 成本比上一代 Hopper 低约 35 倍，每兆瓦吞吐量提升约 50 倍。在更大模型上，DeepSeek-R1 的推理成本据称约每百万 token 0.04 美元，开源 GPT-OSS-120B 甚至约 0.02 美元。把这些数字翻译成一句话：思考，正在变得近乎免费。 历史上思考一直是贵的 人要读书十年才能独立思考，要熬无数个深夜才能想透一个问题。在碳基世界，「想」是最贵的劳动——它消耗时间，而时间不可再生。所以我们尊重深思熟虑，尊重原创观点，尊重那个愿意花一周替你想清楚的人。这种尊重的底层，是思考的稀缺。 当硅基把单位思考成本打到分钱级别，稀缺性的天平开始反转。过去你付大价钱买的是「有人帮你想」，现在这个动作本身廉价到可以无限重复。一篇初稿、一个分析、一段代码，都可以被批量生成，成本约等于几毛钱。 稀缺的东西换了位置 认知经济学不会停摆，它只是把稀缺性挪了个地方： 廉价的是「想」，昂贵的是「知道该想什么」——提出好问题重新值钱。 廉价的是「生成」，昂贵的是「判断对错」——审稿与品味重新值钱。 廉价的是「广度」，昂贵的是「取舍」——在一万个答案里选一个的勇气重新值钱。 换句话说，机器接管了思考的执行层，而问题定义、价值判断、责任承担这三层，成了新的稀缺品。这和工匠时代的逻辑一致：机器接管了做工，师傅的眼睛和判断反而更贵。 一个提醒 成本曲线还会继续往下走。真正要担心的不是「思考太便宜所以没人思考」，而是「因为思考太便宜，我们忘了练习自己的思考肌肉」。免费的空气不会让人更健康，免费的思考也不会。把廉价的算力当外脑，而不是当替代品，是接下来每个人都要回答的问题。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：廉价思考与稀缺性