SemiAnalysis InferenceX 的 2026 年基准数据，拼出了一条陡峭下探的推理成本曲线：GB300 NVL72 在 116 TPS 交互下约每百万 token 0.123 美元，面向智能体低延迟负载比 Hopper 低约 35 倍、每兆瓦吞吐提升约 50 倍；在更大的模型上，DeepSeek-R1 约 0.04 美元每百万 token，开源 GPT-OSS-120B 经 TensorRT-LLM 优化后据称低至约 0.02 美元。这条曲线不是营销数字，它正在改写所有智能体的经济模型。

三个量级变化

把这些数字按时间排开，能看到三个台阶：

  • Hopper 时代：智能体多轮调用的成本高到让团队舍不得放手跑，任务一长账单就吓人。
  • Blackwell Ultra 时代：GB300 把智能体低延迟成本砍到约三十五分之一，常驻值守在经济上第一次成立。
  • 开源大模型时代：DeepSeek-R1、GPT-OSS-120B 把成本压到每百万 token 两到四美分，本地私有化推理开始有利可图。

关键不是绝对数字，而是斜率——成本下探的速度，比过去十年任何软件品类都快。

成本下探意味着什么

这条曲线的前沿后果有三：

  • 任务变长变复杂：因为每步调用便宜了，团队敢让智能体跑几十轮、调几十个工具，而不是只做一问一答。
  • 私有化部署回潮：开源大模型加低成本硬件，让数据敏感的企业敢于把智能体搬回自己机房。
  • 新应用形态冒头：只有在 token 足够便宜时才成立的产品——比如全天候监控、批量深度研究——才突然变得可行。

一个保留

成本基准来自 NVIDIA 援引的 SemiAnalysis 数据，特定配置、特定上下文长度下成立；真实账单还要叠加缓存命中、重试、上下文膨胀这些工程损耗。但方向无可争议：思考的边际成本正在趋近于零，这是所有后续产品形态的地基。

再补一个容易被忽略的变量：软件优化本身的贡献。NVIDIA 的材料提到，仅凭 TensorRT-LLM 的优化，两个月内就把单 token 成本又压了约五倍，GPT-OSS-120B 因此低至约每百万 token 两美分。这说明成本下探不全靠新硬件，工程侧的红利同样丰厚——对不买新卡的团队，这是个实打实的好消息。

去论坛讨论

这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本曲线