推理成本

按 NVIDIA 援引 SemiAnalysis InferenceX 2026 年 4 月的基准，GB300 NVL72 在 116 TPS 的交互体验下，推理成本约为每百万 token 0.123 美元；面向智能体低延迟工作负载，单 token 成本比上一代 Hopper 低约 35 倍，每兆瓦吞吐量提升约 50 倍。在更大模型上，DeepSeek-R1 的推理成本据称约每百万 token 0.04 美元，开源 GPT-OSS-120B 甚至约 0.02 美元。把这些数字翻译成一句话：思考，正在变得近乎免费。 历史上思考一直是贵的 人要读书十年才能独立思考，要熬无数个深夜才能想透一个问题。在碳基世界，「想」是最贵的劳动——它消耗时间，而时间不可再生。所以我们尊重深思熟虑，尊重原创观点，尊重那个愿意花一周替你想清楚的人。这种尊重的底层，是思考的稀缺。 当硅基把单位思考成本打到分钱级别，稀缺性的天平开始反转。过去你付大价钱买的是「有人帮你想」，现在这个动作本身廉价到可以无限重复。一篇初稿、一个分析、一段代码，都可以被批量生成，成本约等于几毛钱。 稀缺的东西换了位置 认知经济学不会停摆，它只是把稀缺性挪了个地方： 廉价的是「想」，昂贵的是「知道该想什么」——提出好问题重新值钱。 廉价的是「生成」，昂贵的是「判断对错」——审稿与品味重新值钱。 廉价的是「广度」，昂贵的是「取舍」——在一万个答案里选一个的勇气重新值钱。 换句话说，机器接管了思考的执行层，而问题定义、价值判断、责任承担这三层，成了新的稀缺品。这和工匠时代的逻辑一致：机器接管了做工，师傅的眼睛和判断反而更贵。 一个提醒 成本曲线还会继续往下走。真正要担心的不是「思考太便宜所以没人思考」，而是「因为思考太便宜，我们忘了练习自己的思考肌肉」。免费的空气不会让人更健康，免费的思考也不会。把廉价的算力当外脑，而不是当替代品，是接下来每个人都要回答的问题。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：廉价思考与稀缺性

10 月初，产业链传出的关键进展是：新一代 Vera Rubin NVL72 不再是 roadmap 上的参数，而是真的进了生产环境。CoreWeave 已把 NVL72 送进生产部署，编码智能体公司 Cognition 成为首个跑生产负载的客户。与此同时，Google Cloud、Azure、Oracle、Mistral 等都在列部署名单。据现场数据，在 SWE-2 这类智能体负载上，NVL72 的总 Token 吞吐较 GB200 NVL72 提升约 4.8 倍，强化学习每 GPU 输出提升约 3.8 倍。 成本数字是怎么往下走的 英伟达官方口径很有说服力：GB300 NVL72 在单用户交互 116 TPS 场景下，借助 Dynamo 与 TensorRT-LLM 把推理成本做到每百万 token 约 0.123 美元（SemiAnalysis 2026 年 4 月基准），比 HGX H200 低约 35 倍。而 Vera Rubin NVL72 更狠——每百万 token 成本约为 GB200 NVL72 的十分之一，每兆瓦 Token 产出最高约 10 倍；按 SemiAnalysis 的 AgentX 数据，相较 GB300 NVL72 每百万 token 成本还能再降约 45 倍。 ...

一条陡峭的下降曲线 如果你对比两年前和今天的大模型推理成本，会看到一条几乎垂直向下的曲线。英伟达的公开基准显示，Blackwell 相对上一代 Hopper，每百万 token 成本降到约三十五分之一，每瓦 token 产出高出五十倍以上；而更新的 Rubin 平台，官方口径是把 token 成本最多再压到 Blackwell 的十分之一。换一种方式说：同样一次推理，几年间成本可能降了两个数量级。这不是营销话术，而是硬件、软件、算法三股力量叠加的结果。 三股力量一起推 硬件代际跃迁 每一代新架构都把单位算力的成本和功耗往下拉。从 Hopper 到 Blackwell 再到 Rubin，芯片设计、互联、显存协同持续优化，这是成本下降的地基。 软件优化不吃硬件红利 有意思的是，即便同一代硬件，成本也在持续下降。英伟达提到，在 Blackwell 平台上，仅靠软件栈优化，一个月内就把 DeepSeek V4 的 token 成本压到原来的五分之一。批处理调度、KV Cache 管理、投机解码、量化推理，这些纯软件手段能在不动硬件的情况下再砍一刀。 缓存与负载调度 2026 年国产模型把缓存命中输入价压到几分钱每百万 token，靠的就是把大量重复请求命中缓存、跳过重复计算。对高频、模式相似的业务（比如客服、摘要），缓存命中率直接决定真实成本。 这条曲线会一直降吗 短期看还会，但斜率会放缓。当硬件红利被吃完、软件优化也做到极致，进一步降本就要靠更聪明的模型架构（比如小模型干大模型的活）和更精细的负载调度。对应用开发者来说，这意味着一件事：不要把业务的经济模型建立在「当前成本」上，要建立在「成本还会继续降」的趋势上——你的毛利会随着底层成本下降而自然改善，前提是你别过早被高单价套死。 收束 推理成本的持续下降，是整个 AI 应用生态的底层红利。它让过去算不过账的生意（比如全自动客服、批量内容生产）突然变得可行。看懂这条曲线的斜率，就看懂了为什么 2026 年应用层突然热闹起来——不是应用变聪明了，是算力变便宜了。 去论坛讨论 关于「推理成本」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

一条被打到地板的价格曲线 今年春天，大模型 API 市场经历了一场不可逆的重构。4 月下旬，DeepSeek 宣布全系 API 降价，输入缓存命中价格直接降到首发价的十分之一；其中 V4-Pro 版本叠加限时活动，百万 tokens 输入缓存命中价低至约 0.025 元，创下全球大模型价格新低。紧接着 5 月下旬，V4-Pro 又把永久价降到原价的约四分之一；6 月初，腾讯云大幅跟降。短短十多天里两轮降价，把整个行业的定价中枢拽下了一个台阶。 这不是烧钱补贴，是结构成本 和过去「亏大钱抢用户」的补贴战不同，这一轮降价有真实的成本基础。DeepSeek-V4 采用稀疏 MoE 架构，并在注意力机制上做了新的工程优化，让单次推理激活的参数量远小于总参数量；更关键的是，它深度适配国产昇腾算力，把硬件采购与调度成本压了下来。技术优化加国产协同，构成了对手短期内难以复制的结构性优势——跟进者要追平，往往需要半年以上的架构重构。 对开发者是真红利还是陷阱 表面上看，缓存命中价打到近乎免费，意味着长文档、长对话场景的成本断崖式下降：客服机器人、代码补全、批量摘要这类高频调用，账单直接少一个数量级。但要注意两个前提：一是「缓存命中」才有地板价，未命中的输入和输出仍是正常计费；二是超低价往往伴随严格的速率限制和并发配额，做大规模服务前必须先压测吞吐。便宜的是单价，不是总账单。 收束 DeepSeek 这场降价，本质是把「智能」从奢侈品打成了水电煤。当调用一次推理便宜到可以忽略不计，应用层的想象力就被彻底打开——过去因为算不过账而不敢做的高频功能，现在都敢上线试错了。对创业公司，这是 2026 年最确定的利好；对大厂，这是必须正面接招的价格压力。 去论坛讨论 关于「DeepSeek降价」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

一场教科书级的降价战 2026年8月，美系AI大模型掀起密集降价潮。这轮降价不是象征性的促销，而是实打实的价格重构： OpenAI：先后多次下调价格，部分低成本模型降幅高达 80% 谷歌 Gemini 3.7 Flash：定价仅为前代 一半 谷歌在3.6发布三周后就迭代出3.7，配合同步降价 降价背后的三重逻辑 1. 技术降本 MoE架构、KV缓存复用、推理引擎优化——每一项技术改进都在降低单位token成本。成本曲线下降，为降价提供了空间。 2. 竞争压力 开源模型在"足够好"区间持续逼近闭源。闭源厂商必须用价格证明"值得付费"，否则开发者会流向开源或更便宜的替代。 3. 规模换市场 低价吸引更多调用量，更多调用量带来更多数据与反馈，反哺模型迭代——这是典型的"以价换量、以量养质"。 对开发者意味着什么？ 这轮降价潮的直接影响： 应用成本大幅下降：AI功能嵌入应用的成本门槛降低 更多场景跑通：原本算不过账的场景（如大规模实时推理）开始盈利 国产厂商承压：美系降价将挤压国产闭源模型的定价空间，倒逼其提升性价比 一个值得注意的反差 美系模型在降价的同时，国内大模型在开源和提性能上发力——一边打价格战，一边打开源战。两种策略殊途同归：让AI更便宜、更普及。 结语 当"最强模型"的价格跌去80%，AI的商业模式正在被重写。降价潮的终局不是"谁最便宜"，而是"谁能在便宜的同时保持盈利"——这才是真正的分水岭。