推理成本

据 AICoder 对 Hugging Face 模型卡的整理（https://www.aicoder.com/news/news-20261017-nvidia-nemotron-labs-dory-1-0-4b-looped-model ），英伟达 Nemotron Labs 10 月 16 日在 Hugging Face 悄然发布 Dory1.0-4B，一款 40 亿参数、256K 上下文的循环式模型，8 层输入、20 层共享循环块、8 层输出的结构，开发者可以在运行时选择 1、2 或 4 次循环，不需要重新下载或更换检查点，官方推荐默认两圈，智能体任务用四圈。厂商自报四圈 SWE-bench Verified 得分 61.8，与 Qwen3.5-9B 的 61 相当，一到四圈分别为 50.3、59.5、61.8。模型采用循环注意力结构，最后一圈 KV 缓存保持单圈规模，循环次数增加不会让显存占用线性膨胀。权重提供 BF16、MXFP8、NVFP4 与 GGUF，采用可商用的 OpenMDW-1.1 许可，vLLM 与 llama.cpp 支持仍在 PR 阶段，尚未进入正式发布。 循环推理深度为什么能在运行时调节？ 传统模型把计算深度固化在参数里，要更快就换一个小模型，要更准就换一个大模型，中间没有连续档位。Dory 的思路是让同一个权重反复读取自身输出，一圈不够就两圈，简单任务一圈给答案，难题多转几圈再作答。循环注意力把缓存压在单圈规模，意味着多转三圈不会带来三倍显存，代价是每圈串行计算，延迟随圈数上升。对部署方，这相当于在一个本地检查点上同时拿到快速编辑模式和深度求解模式，不用为两种工作负载维护两套模型。 一个本地权重怎么同时服务快任务和难任务？ 实际场景里，用户请求天然分成两档，一类是改写、摘要、格式化，延迟敏感，多转一圈都是浪费；另一类是多文件代码修改、复杂调试，值得多花时间。固定选档要么让简单任务白等，要么让难题得不到足够推理。运行时切换把选择权交给调用方，可以先单圈试探，发现置信不足再追加圈数，也可以按任务类型预设默认圈数。对边缘设备和本地服务器，一个文件覆盖两种档位，还省掉了小模型与大模型之间的路由与权限对齐。 61.8 分的厂商自报成绩该怎么看待？ 需要注意 61.8 是英伟达自己报告的数字，独立复测尚未发布，SWE-bench Verified 上的得分还受数据集污染、提示模板与验证口径影响，不能直接等同于生产环境表现。循环结构的收益在不同基准上并不均匀，简单问答可能多圈反而绕远，代码与长程推理才是设计目标。建议企业把它放进自己的私有任务集里实测，记录不同圈数下的成功率、延迟与 token 成本，再决定默认档位。 这条路线对本地小模型意味着什么？ 循环深度可调代表小模型设计的一个新方向，不再一味堆参数，而是用时间换精度。对个人开发者，40 亿参数加上 256K 上下文可以在消费级 GPU 上承担英文文档处理与轻量编码，但模型当前仅支持英文，中文场景不能直接套用。对企业，本地部署的数据隐私优势不变，多圈深度作为可选增强，而不是另购一套大模型。真正值得跟踪的是独立测试何时出现，以及工具链支持从 PR 进入正式发布之后，循环机制在真实代码任务上的稳定性表现。 ...

一、引子：当「思考」比电费还便宜 先讲一个容易被忽略的对照。 2020 年，你要用 GPT-3 处理一百万个 token，大约要花 60 美元。到 2026 年，同样一档「够用」的智能，每百万 token 的输入价格已经跌到 6 美分上下——同样一笔钱，五年前只能买大约一万多 token 的思考，今天能买下一百亿 token。 这不是某一家厂商的降价促销，而是一条全行业、跨厂商、跨开源闭源的共同曲线。研究机构 Epoch AI 在 2026 年 9 月的报告《The Plunging Price of Thought》里给出了一个更狠的判断：自 2023 年以来，实现同等智能水平的成本大约每季度下降 47%，折算每年约 13 倍；并且强调，AI 变便宜的速度，比历史上任何一项颠覆性技术都快——是 DNA 测序速度的四倍、摩尔定律下算力降价速度的六倍、锂电池降价速度的十八倍（Epoch AI）。 换句话说：智能，正在以人类工业史上前所未有的速度，从奢侈品变成日用品。 这篇文章想回答的，不是「降价了多少」这个已经被反复说过的事实，而是接下来三件更重要的事： 这条曲线是怎么被压出来的，它的尽头在哪里； 为什么智能越便宜，电反而越贵——硅基文明的物理天花板在哪里； 当思考像水电一样按量计费，个人、创业者、整个产业的账本会被怎么重写。 二、一张图看懂「价格坍塌」 先把最硬的事实摆上桌。下图是 2020 到 2026 年，两档代表性模型的输入价格（每百万 token，美元，对数坐标）： 图1｜每百万 token 推理价格的对数坐标坍塌曲线。数据来源：Epoch AI、arXiv:2603.28576、TokenCost 价格指数。 几个关键刻度： 2020 年 6 月，GPT-3（davinci）：约 60 美元/百万 token。 这是「买智能」的初代标价（arXiv:2603.28576）。 2023 年 3 月，GPT-4 旗舰：30 美元/百万 token 输入。 旗舰智能第一次被明码标价，贵得让人倒吸一口凉气。 2024 年初，GPT-3.5 Turbo 被砍到 0.50 美元/百万 token 输入——相较其 2023 年首发价便宜了约 75%；同年 3 月 Claude 3 Haiku 把入门档压到 0.25 美元（TokenCost 价格指数）。 2025 年初，Gemini 2.0 Flash 把地板价打到 0.10 美元/百万 token（arXiv:2603.28576）。 2026 年第一季度，全行业中位价已跌破 0.50 美元/百万 token，开源小模型（如 LLaMA 3.2 3B 一类）的落地价探到 0.06 美元（bibliotekanauki.pl 实证研究）。 把这些点连起来看，会发现一个反直觉的事实：这条曲线不是平滑下降的，而是一级一级往下跳的台阶。Nesyona Research 跟踪 12 个前沿模型、33 个版本后测算，按「完成同一任务的成本」从峰值到地板约下降了 530 倍，而每一次台阶都由新一代模型或新的架构触发（Nesyona）。 ...

10 月 7 日 OpenAI 推送 GPT-6 Sol 与 GPT-6 Luna 的十月更新，并把「智能界面面向所有人」作为产品化方向。对做 Agent 的团队来说，这两个名字不只是 marketing，而是两条不同推理档位的公开信号。 Sol 与 Luna 到底是两个模型，还是两种思考预算？ 可以把 Sol 理解为深度推理档：允许更长的思维链、更多次自我校验，适合数学、代码、规划这类需要多步推演的任务。Luna 则是快速档：短链路、低延迟、便宜，适合问答、摘要、分类这类「想一下就够」的场景。厂商官方没有公开精确的触发阈值与价差，但从 o 系列以来的惯例看，深度档的 token 消耗往往是快速档的数倍。 路由选错档位，账单会差出多少？ 真正烧钱的不是选了哪个档，而是该用快档时用了深档。一个取邮件、读日程的工具调用，如果默认走 Sol，每一步都在做「长篇思考」，账单会比走 Luna 贵出一截。 务实做法有三条：在系统提示里显式标注任务复杂度；对工具调用类请求强制走快速档；只在规划与调试节点开放深度档。Manus 2.0 靠框架优化把 Token 消耗压下 23.2%，其中相当一部分正是这种「档位选错」的浪费。 双档并行之后，Agent 工程的核心技能变成了什么？ 双档并行会成为 2026 下半年旗舰模型的标配。未来 Agent 工程的核心技能之一，就是给每一步推理标对价格标签——把贵的思考留给真正需要它的那几步。 一个可落地的档位路由策略长什么样？ 把工作流里的每一步按「是否需要多步推演」打标签：取数、读配置、格式化这类动作直接绑定快档；写代码、做规划、排错这类节点开放深度档。更稳的做法是让模型自己先输出一个「复杂度自评」，再由路由层决定送哪一档——这比写死规则灵活，又比让模型自由选择省钱。记得把每一步实际走了哪一档、花了多少 token 记录下来，跑两周后回看，你会发现有相当比例的深度调用其实用快档也能过。把这部分省下来，就是白捡的利润。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：GPT6-Sol-Luna

10 月 8 日多家媒体跟进 DeepSeek 新一轮融资传闻，同日其更新日志里的 V4.1-Flash 技术细节被再度翻出。这是 DeepSeek 全新结构系列中最小的模型，却把总参数做到 552B 的 MoE 规模，同时原生支持多模态视觉理解。本文不聊融资，只拆它的架构为什么能又快又便宜。 DeepSeek-V4.1-Flash 为什么要做输入 8B、输出 16B 的非对称激活？ 主流 MoE 长期把每 token 的激活参数做成对称的一套专家路由，V4.1-Flash 改成了非对称：输入阶段激活约 8B 参数，输出阶段激活约 16B。直觉上，prefill 阶段要一口气吃掉整段上下文，算力吃紧，少激活一点专家；decode 阶段逐个吐 token，带宽吃紧却需要更强的生成能力，于是多激活一点。这种把「算得动」与「写得好」分开定价的做法，本质是把 MoE 的路由开销按前后台重新分配。 配合全新的 Causal-Encoder-Decoder 结构，它不再是 V4-Flash 的增量改版，而是一次结构换代，上下文给到 1M tokens，最大输出 384K tokens。 CSA 与 HCA 是怎么把百万上下文压下来的？ V4 技术文档披露的另一组关键改动是混合注意力：Compressed Sparse Attention（CSA）负责压缩 KV，Heavily Compressed Attention（HCA）做更激进的压缩。二者叠加，让百万级上下文不再等于线性膨胀的显存账。保留自 V3 的多 Token 预测（MTP）继续在训练侧帮助收敛。 GPQA 90.9、HLE 36.8 这个坐标说明它在什么水平？ 更新日志给出的参考点是 GPQA Diamond 90.9、HLE 36.8。前者说明理科推理已摸到第一梯队，后者提醒最难开放题仍远未解决。对工程团队而言，真正的信号是：这套结构被设计成「能力上限更高、速度更快、吞吐更大、可扩展到更大模型」——V4.1-Flash 是新结构的试金石，更大的型号已在路上。 这套架构折算到部署上意味着什么？ 把这套架构折算成部署选择：552B 总参但只激活 8B 到 16B，意味着单 token 计算量远小于同规模稠密模型，吞吐天然占优；百万上下文叠加 CSA 与 HCA 压缩，又把 KV 膨胀控制在可接受范围。两者相乘，才是它敢把缓存命中价压到极低的工程底气。需要注意的是，非对称激活对并行策略有要求——输入与输出走不同专家集合，张量并行与专家并行的切分必须配套，否则容易出现负载不均。上线前务必压测不同并发下的尾延迟，别只看标称吞吐。 ...

把两个看似无关的数字放在一起：GPT-6 Luna 的 API 输入价是每百万 token 0.10 美元；而 GB300 NVL72 的推理成本基准约为每百万 token 0.123 美元。一个是模型公司卖给你的零售价，一个是硬件跑推理的出厂成本。它们几乎拉平了。这不是巧合，而是一个时代信号：模型的售价，正在贴住它跑在硬件上的物理成本。当这两件事相等，过去十年支撑 AI 公司估值的「模型溢价」，就要开始蒸发了。 模型售价为什么会向硬件成本收敛？ 任何商品化的市场都遵循一条规律：产品一旦大同小异，价格就会被压到接近成本。十年前模型是稀缺品，谁能做出聪明模型谁定价；现在开源模型追得紧，各家 API 价格一路打下来。到 Luna 这档，便宜模型的售价已经低到和 GPU 硬件成本差不多——这意味着卖模型本身，几乎不赚钱了。 0.10 美元卖出去，0.123 美元的硬件成本，这中间甚至可能是亏的。模型公司在这档上不图利润，图的是把用户圈进来、把生态占住，真正赚钱靠的是 Sol、Astra 那些高档位。 溢价消失之后，价值流到哪里去了？ 当模型本身不再溢价，钱就往两端跑。一头是最顶尖的那一小撮模型——Astra、Sol Ultrafast 这种，靠绝对智能差距还能收智商税。另一头是模型之上的东西：数据、工作流、用户关系、品牌。中间那层「我有一个还不错的模型」的公司，会被两头挤扁。 这正是为什么 Manus 这种公司拼命做 Agent 工作流、做产品体验，而不是去卷模型本身。它很清楚：模型迟早会白菜价，能守住的壁垒是用户离不开你的那套流程。 这对做产品的人到底意味着什么？ 模型价格向硬件成本收敛，是长期趋势。今天 Luna 是 0.10，明天可能就是 0.01。这意味着任何建立在「我调了一个好模型」之上的商业模式，都很脆弱——别人明天用更便宜的硬件跑出差不多的效果，你的定价权就没了。 真正该押注的，是那些不会随模型降价而贬值的东西：你积累的私有数据、你打磨的工作流、你和客户之间的信任。模型会变成像电一样的公用事业，价格由硬件成本决定。而你要做的，是在这个免费又便宜的电力之上，盖一座别人搬不走的房子。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：模型成本收敛

10 月初 NVIDIA 在官网基准页重申，GB300 NVL72 用 Dynamo 加 TensorRT-LLM 做到 $0.123/百万 token、约 116 TPS/用户交互，据 SemiAnalysis InferenceX 2026 年 4 月基准；DeepSeek-R1 这类大模型在 GB300 上约 $0.04/百万 token。数字漂亮，但对一个月烧几万 API 费的小团队，真正的问题是：我要跑到多大，自建才比调云 API 划算？ $0.123 每百万 token 这个价到底怎么来的？ 这个单价是「整柜满载」的理论下限，不是你开机就有的价。它假设 72 卡 NVL72 机柜跑满、prefill 与 decode 用 Dynamo 拆开、TensorRT-LLM 提前编译好 engine。你要为这个价付的是：整柜采购或长租、机房电力、以及空载损失——机柜不可能满负荷，业界经验值利用率在六到七成之间。 所以真实单 token 成本约等于 $0.123 除以利用率。按六成五算，约 $0.19/百万 token。这才是你该填进表里的数，直接拿 $0.123 做预算是会亏的。 日消耗到多少 token 才值得自建机柜？ 拿公开 API 价做对照（输入输出混合均价，约数）：旗舰闭源模型每百万 token 约数美元，主流开源托管价约零点五到一点五美元，而你的自建成本约 $0.19。盈亏平衡点这样算：当「机柜月租金加运维人力」除以你的月 token 量之后，低于云 API 单价，自建才划算。 粗算下来，一个稳定跑开源模型、日消耗稳定在数十亿 token 以上、且请求波形平缓能满载的团队，才勉强摸到这条线。日消耗在几亿 token 以内、流量潮汐明显的团队，自建大概率亏。 ...

NVIDIA 官网性能页至今挂着一行字：GB300 NVL72 在单用户交互 116 TPS 的场景下，用 NVIDIA Dynamo 加 TensorRT-LLM 实现每百万 token 0.123 美元的推理成本，依据是截至 2026 年 4 月的 SemiAnalysis InferenceX 基准，号称主流平台里每 token 最低。10 月 7 日 NVIDIA 公布 SpaceXAI 部署 Vera CPU、Vera Rubin NVL72 量产加速，这个数字又被翻出来引用。问题是：0.123 到底是硬件白送的，还是工程堆出来的？ 这个数字的三个前提 先把前提摆清楚，否则容易误读。第一，0.123 是「单用户交互吞吐 116 TPS」这个特定工作点上的成本，不是所有负载通吃。第二，它依赖 Dynamo 与 TensorRT-LLM 的协同栈，换 vLLM 或裸跑不一定拿到同样数字。第三，对比基准是 SemiAnalysis 的 InferenceX，口径由第三方定义，NVIDIA 自己引用。 成本下降来自四层叠加 按 NVIDIA 自家与 SemiAnalysis 的拆解，这笔账不是单靠 GPU 换代： 硬件层：Blackwell Ultra 的 HBM 容量与带宽、第五代 NVLink 机架互联，让 72 卡 NVL72 作为一个整体被调度，而不是 72 张孤立的卡。 精度层：MXFP4/MXFP8 配合 DeepGEMM 内核，把权重与激活压到 4 比特而不掉可用精度，等效吞吐接近翻番。 服务层：Dynamo 把 prefill 与 decode 拆到不同资源池，长上下文与高并发各取所需；官方称仅靠软件优化单轮吞吐就提升约 2.7 倍。 规模层：在 Agent 类低延迟负载上，GB300 相对 Hopper 每百万 token 成本最高降约 35 倍，每兆瓦吞吐提升约 50 倍；跑 DeepSeek-R1 671B 这种 MoE 时，SemiAnalysis 给出的成本甚至低至每百万 token 约 4 美分。 对选型者的实际含义 如果你是推理服务商，0.123 这个数字的正确用法不是「拿来对标 API 报价」，而是反推自己的缺口：同样的硬件，软件栈没对齐，成本可能差出数倍。如果你是应用方，要盯的是自己的真实工作点——长上下文批量离线与交互式 Agent 走的是两条完全不同的成本曲线，用一个数字做预算必然翻车。 ...

10 月 7 日 OpenAI 把 GPT-6 Luna 免费推向 12 亿用户，付费用户升级 Sol。表面看是产品升级，底下藏着一个财务问题：当旗舰模型变成订阅制甚至免费，推理成本这笔公摊，到底由谁兜底？这个问题不解决，整个大模型行业的商业模式都会动摇。 先算一笔账 按 OpenAI 官方价目表，GPT-6 Luna 输出 0.50 美元每百万 token，Sol 输出 10 美元每百万 token。一个轻度用户一个月用掉 100 万输出 token，Luna 成本约 0.5 美元；一个重度 Agent 用户一个月跑 5000 万输出 token，若走 Sol 就是 500 美元。而 ChatGPT Plus 订阅费一个月约 20 美元。 也就是说，一个重度用户一个月就能烧掉相当于 25 个 Plus 用户的订阅费。订阅制天然是轻度用户补贴重度用户，但当 Agent 让「重度用户」的比例从 1% 涨到 10%，这个公摊模型就会穿底。 英伟达给的答案 模型公司的解法只能是把单位推理成本持续打下来。英伟达官方数据显示，GB300 NVL72 平台在 SemiAnalysis 2026 年 4 月基准下做到每百万 token 0.123 美元；下一代 Vera Rubin NVL72 在 Agent 负载上号称每百万 token 成本比 GB300 再降一个数量级。硬件每一代把成本压 10 倍，才给模型公司留出了「免费送 Luna」的空间。 ...

10 月 7 日，微软在旧金山发布 Surface Laptop Ultra，售价 2599 美元起，搭载英伟达 RTX Spark 超级芯片，最高 128GB 统一内存，号称本地能跑超过 1200 亿参数的模型。这台机器到底是给哪类人准备的？答案藏在一笔三年总持有成本（TCO）里。 先把两边的价格摆出来 本地侧：机器 2599 美元（约合人民币 17500 元），三年电费忽略不计，折旧后残值按 30% 算，净硬件支出约 1800 美元。换来的是 128GB 统一内存，可以本地跑量化后的 120B 级模型，数据不出本机。 云端侧：OpenAI 10 月 7 日刚把 GPT-6 全量放开，API 价目表里 GPT-6 Luna 输入 0.10 美元、输出 0.50 美元每百万 token，GPT-6 Sol 输入 2 美元、输出 10 美元每百万 token。一个重度开发者一个月烧掉 1000 万输出 token 用 Sol，就是 10 美元；若走 Luna 则不到 1 美元。 盈亏平衡点在哪 粗算：如果一个开发者每月云 API 支出稳定在 50 美元以上，三年就是 1800 美元，刚好覆盖这台机器的净硬件成本。也就是说，每月在 API 上花 50 美元以上、且工作负载可以本地化的人，买这台机器在经济上说得通。 ...

NVIDIA 的 Vera Rubin NVL72 在加速量产，CoreWeave、谷歌云、Azure、Oracle、Mistral 都在部署。SemiAnalysis 2026 年 4 月的基准给了一个锚点：GB300 NVL72 的推理成本约 0.123 美元每百万 token。这个数字一出来，很多团队开始认真算账：既然推理这么便宜，我要不要自己买卡？ 决策树的三刀 第一刀，看量级。月调用量在几千万 token 以下，调云 API 的账单也就几百美元，连一张卡的折旧都覆盖不了，直接用 API，别想自建。 第二刀，看利用率。自建集群的成本杀手是「卡闲着」。如果你的流量是白天高、夜里零，买满配集群等于半夜烧钱。这种波形，云 API 的弹性反而便宜——它按你实际用的计费。 第三刀，看数据合规。如果你的请求含不能出内网的数据，那无论算账划不划算，都得自建或本地部署。这时成本是合规税，不是选择题。 什么时候自建才划算 只有同时满足：流量大且稳定（一天到晚都有活）、峰值可预测、且团队有运维能力，自建小集群才开始跑赢云 API。而且别忽略隐性成本：电力、机房、运维人力、以及模型升级要自己折腾。 判断 0.123 美元每百万 token 是硬件裸成本，不是你的到手价。云厂商在上面叠了利润、冗余和服务。对绝大多数团队，正确姿势仍是先用云 API 跑到量级临界点，再谈自建——在你还没证明自己需要那么大流量之前，买卡是把利润提前付给了折旧。 补一个常被忽略的隐性账：自建的弹性成本。流量突然翻三倍时，你没有卡可加；云端 API 却能自动接住峰值，事后又自动回落。这种「为峰值买冗余」的账，对波动大的业务尤其要算进去。别只看平峰时的单价，要看你为峰值付出了多少闲置折旧，那张账单往往被漏掉。 在你证明自己需要那么大的稳定流量之前，买卡往往是把利润提前付给了折旧。先用云端，跑过临界点再谈自建。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：推理成本