一条陡峭的下降曲线

如果你对比两年前和今天的大模型推理成本，会看到一条几乎垂直向下的曲线。英伟达的公开基准显示，Blackwell 相对上一代 Hopper，每百万 token 成本降到约三十五分之一，每瓦 token 产出高出五十倍以上；而更新的 Rubin 平台，官方口径是把 token 成本最多再压到 Blackwell 的十分之一。换一种方式说：同样一次推理，几年间成本可能降了两个数量级。这不是营销话术，而是硬件、软件、算法三股力量叠加的结果。

三股力量一起推

硬件代际跃迁

每一代新架构都把单位算力的成本和功耗往下拉。从 Hopper 到 Blackwell 再到 Rubin，芯片设计、互联、显存协同持续优化，这是成本下降的地基。

软件优化不吃硬件红利

有意思的是，即便同一代硬件，成本也在持续下降。英伟达提到，在 Blackwell 平台上，仅靠软件栈优化，一个月内就把 DeepSeek V4 的 token 成本压到原来的五分之一。批处理调度、KV Cache 管理、投机解码、量化推理，这些纯软件手段能在不动硬件的情况下再砍一刀。

缓存与负载调度

2026 年国产模型把缓存命中输入价压到几分钱每百万 token，靠的就是把大量重复请求命中缓存、跳过重复计算。对高频、模式相似的业务（比如客服、摘要），缓存命中率直接决定真实成本。

这条曲线会一直降吗

短期看还会，但斜率会放缓。当硬件红利被吃完、软件优化也做到极致，进一步降本就要靠更聪明的模型架构（比如小模型干大模型的活）和更精细的负载调度。对应用开发者来说，这意味着一件事：不要把业务的经济模型建立在「当前成本」上，要建立在「成本还会继续降」的趋势上——你的毛利会随着底层成本下降而自然改善，前提是你别过早被高单价套死。

收束

推理成本的持续下降，是整个 AI 应用生态的底层红利。它让过去算不过账的生意（比如全自动客服、批量内容生产）突然变得可行。看懂这条曲线的斜率，就看懂了为什么 2026 年应用层突然热闹起来——不是应用变聪明了，是算力变便宜了。

去论坛讨论

关于「推理成本」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。