大模型

NVIDIA 自家 FAQ 页挂着一个让人愣一下的数字：在 GB300 NVL72 上跑 DeepSeek-R1 671B，按 SemiAnalysis InferenceX 口径，每百万 token 成本约 4 美分。这比通用模型的 0.123 美元还低一个数量级。差异不在模型大小，而在拓扑——NVIDIA 官方示例给出的配置是：上下文阶段用 EP4DP16，生成阶段用 EP64DP3。这串缩写是 2026 年 MoE 推理最核心的工程决策。 MoE 推理的两次瓶颈 DeepSeek-R1 是混合专家（MoE）模型：总参数 671B，但每个 token 只激活约 37B。这带来两个截然不同的瓶颈。 Prefill（上下文处理）：要把整段输入过一遍网络，每个 token 路由到不同专家，计算密集，但对延迟容忍度稍高。 Decode（逐 token 生成）：每步只出一个 token，但要快速把被路由专家的权重从显存里读出来，带宽密集，对延迟极其敏感。 同一张 GPU 池子里混跑这两个阶段，会互相拖累：长上下文 prefill 堵住 decode 的排队，decode 的小批次又浪费 prefill 的算力。 EP4DP16 与 EP64DP3 在干什么 EP 是专家并行，DP 是数据并行。官方示例里，上下文阶段用 EP4DP16：4 组专家并行、16 路数据并行，偏计算效率；生成阶段切到 EP64DP3：64 路专家并行、3 路数据并行，把专家权重尽量铺开，缩短每步加载时间。 这不是简单的「切更多卡」。它要求调度层在同一请求生命周期里切换并行拓扑，把 prefill 完的 KV cache 从一组卡安全搬到另一组卡——Dynamo 的分离式路由、NVLink 的机架内带宽，都是为这件事服务的。 ...

10 月 6 日 OpenAI 在 openai/math 仓库（Apache-2.0 协议）公开了内部前沿模型产出的数学成果：722 份手稿，归为 372 组相关结果，附 Lean 形式化证明、十份模型推理摘要、算力估计与尝试问题统计。这不是第一次被报道的事件，但这次值得从工程角度拆一遍——因为仓库里的数字，定义了「AI 数学研究」接下来的生产流水线。 42% 的 Lean 覆盖率 截至 10 月 7 日的社区统计，719 份头条结果里约有 300 份附了 Lean 证明，覆盖率约 42%。这个数字比「AI 解决了千禧年难题」更有信息量。它说明：模型生成一篇可读的数学论文，与把每一步推理翻译成机器可检查的 Lean 代码，中间还差着一倍以上的工作量。 Lean 是一种定理证明编程语言，数学结论必须被编译器逐步验证才算数。OpenAI 同步咨询了普林斯顿高等研究院（IAS）的数学与 AI 独立顾问小组，制定修订与引用协议。换句话说，未来的 AI 数学产出会是「双轨」：手稿供人读，Lean 证明供机器审。 算力账单：每份结果约三小时 ChatGPT Pro OpenAI 披露，模型平均每份结果消耗的算力约相当于三小时 ChatGPT Pro 的思考时间；测试中一共尝试了约 4000 个研究问题。这个投入产出比意味着：数学 AI 不是凭空顿悟，而是在巨大搜索空间里暴力枚举、再用形式化工具筛出幸存者。对工程团队，这提示一条新范式——把「可验证」直接写进奖励函数，让模型自己学会先证给机器看。 不完美的一面 需要保留的怀疑是：即便 Lean 编译器通过，数学家仍要读懂证明本身。已有报道提到，部分声称解决 Unique Games 猜想的证明手稿写得极差，连专家都读不下去；OpenAI 自己也警告部分结果可能含错误。机器可检查 ≠ 人类可理解，这中间是数学界未来几年要补的课。 判断 openai/math 仓库的真正历史意义，是把 AI 推理从「分数竞赛」推进到「证据生产」。对做形式化验证、定理证明工具链的团队，这是今年最值得逐文件读的开源数据集。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：openai/math Lean ...

9 月 17 日华为全联接大会上，轮值董事长汪涛宣布昇腾 960 系列提前完成研发：960DT（训练版）2027 年一季度就绪，比原计划提前三个季度；960PR（推理版）2027 年三季度就绪，提前一个季度。这是继 950 系列之后，华为把国产 AI 芯片路线图再次往前拨。对做国产推理部署的团队，这次发布真正的信息增量不是时间点，而是 HiF4 这个数据格式。 960 的硬指标 按披露规格：960DT 提供约 2 PFLOPS FP8、4 PFLOPS FP4 算力，最大支持 288GB HBM，访存带宽约 9.6TB/s；960PR 的 FP4 算力达到 8 PFLOPS，面向推理与解码。后续路线是 970（2028 年，约 3.6P FP8 / 14P FP4）与 980（2029 年，约 7.2P FP8 / 28P FP4），坚持一年一代。 HiF4 为什么是重点 华为强调 960 支持自研 HiF4 数据格式，称其为「目前业界最优的 4 比特精度实现」，推理吞吐比同代方案更高，且比业界 FP4 方案精度更好。这句话要放在 2026 年的语境里读：NVIDIA 在 Blackwell/Rubin 上主推 MXFP4，SGLang、vLLM 生态已经把 NVFP4 跑成事实标准。华为没有直接跟 FP4，而是做了一套自己的 4 比特格式——这意味着软件栈（CANN、MindIE）必须围绕 HiF4 单独优化，模型量化工具链也要适配。 ...

10 月 7 日 NVIDIA 宣布 SpaceXAI 将部署 Vera CPU，用于加速下一代 Agentic AI 的 CPU 密集型负载：任务编排、工具调用、代码执行、数据处理与模拟。Vera CPU 本身 5 月底在 GTC 发布，是 NVIDIA 首款专为 Agentic AI 与强化学习设计的处理器，官方数据是比传统 x86 机架级 CPU 快约 50%、能效翻倍，后续宣传口径进一步提到较 x86 处理器快 1.8 倍。GPU 公司为什么突然认真做 CPU？ Agent 的一半工作不在 GPU 上 过去两年的共识是「推理靠 GPU，CPU 随便配」。Agent 把这个共识打破了。一次工具调用的完整链路是：GPU 上的模型产出动作 → CPU 解析函数调用参数 → CPU 沙箱里执行代码或调 API → CPU 把结果序列化回上下文 → GPU 再读一遍。对话越长、工具越多，CPU 承担的调度、序列化、文件读写、网络往返就越重。 NVIDIA 在发布稿里直接点名了五类负载：任务编排、工具调用、代码执行、数据处理、模拟。这五件事没有一件是矩阵乘法，但每一件都在拖慢 Agent 的端到端响应。GPU 算得再快，CPU 侧卡在编排上，用户感受到的就是「模型在发呆」。 为什么不用 x86 传统 x86 服务器 CPU 在带宽、功耗与机架内一致性上都不是为这种「高并发短事务」设计的。Vera 基于 ARM 路线，与 Rubin GPU 同机架共封装，目标是让 CPU 与 GPU 之间的数据移动距离更短、内存语义更统一。官方称之为「驱动更多数据中心 token 收入」——直白地说，CPU 不再是配套件，而是 token 经济的一部分。 ...

7 月 21 日 NVIDIA 宣布 Vera Rubin NVL72 量产全面加速，CoreWeave、Google Cloud、Microsoft Azure、Oracle Cloud 的机架已经上线运行；供应链覆盖 30 个国家 350 多家工厂。10 月初 SpaceXAI 又宣布把优化版 Vera Rubin NVL72 搬上第一代 Starmind 卫星。这颗继任者的规格表里，最值得技术人记住的不是 3.6 EFLOPS FP4，而是那 20.7TB 的 HBM4。 规格表读错的方式 官方数据：Vera Rubin NVL72 整机架 20.7TB HBM4、约 1.6PB/s 内存带宽、3600 PFLOPS NVFP4 算力；单颗 Rubin GPU 配 288GB HBM4、19.2TB/s；超芯片（Superchip）配 576GB HBM4、38.5TB/s；NVLink 进入第六代。Micron 的 HBM4 36GB 12-Hi 已在 3 月量产，单栈带宽超过 2.8TB/s。 外行看 FLOPS，内行看容量。原因在于 Agent 负载的瓶颈已经转移。 为什么容量墙先到 过去两年的推理优化，主线是「让每 HBM 字节动得更快」——KV cache 量化、分页注意力、前缀缓存。但当模型越做越大（MoE 总参数逼近万亿）、上下文越拉越长（十万、百万 token）、并发越来越高（一个 Agent 同时挂着十几个工具会话），单卡显存装不下权重加 KV，才是硬约束。 ...

NVIDIA 官网性能页至今挂着一行字：GB300 NVL72 在单用户交互 116 TPS 的场景下，用 NVIDIA Dynamo 加 TensorRT-LLM 实现每百万 token 0.123 美元的推理成本，依据是截至 2026 年 4 月的 SemiAnalysis InferenceX 基准，号称主流平台里每 token 最低。10 月 7 日 NVIDIA 公布 SpaceXAI 部署 Vera CPU、Vera Rubin NVL72 量产加速，这个数字又被翻出来引用。问题是：0.123 到底是硬件白送的，还是工程堆出来的？ 这个数字的三个前提 先把前提摆清楚，否则容易误读。第一，0.123 是「单用户交互吞吐 116 TPS」这个特定工作点上的成本，不是所有负载通吃。第二，它依赖 Dynamo 与 TensorRT-LLM 的协同栈，换 vLLM 或裸跑不一定拿到同样数字。第三，对比基准是 SemiAnalysis 的 InferenceX，口径由第三方定义，NVIDIA 自己引用。 成本下降来自四层叠加 按 NVIDIA 自家与 SemiAnalysis 的拆解，这笔账不是单靠 GPU 换代： 硬件层：Blackwell Ultra 的 HBM 容量与带宽、第五代 NVLink 机架互联，让 72 卡 NVL72 作为一个整体被调度，而不是 72 张孤立的卡。 精度层：MXFP4/MXFP8 配合 DeepGEMM 内核，把权重与激活压到 4 比特而不掉可用精度，等效吞吐接近翻番。 服务层：Dynamo 把 prefill 与 decode 拆到不同资源池，长上下文与高并发各取所需；官方称仅靠软件优化单轮吞吐就提升约 2.7 倍。 规模层：在 Agent 类低延迟负载上，GB300 相对 Hopper 每百万 token 成本最高降约 35 倍，每兆瓦吞吐提升约 50 倍；跑 DeepSeek-R1 671B 这种 MoE 时，SemiAnalysis 给出的成本甚至低至每百万 token 约 4 美分。 对选型者的实际含义 如果你是推理服务商，0.123 这个数字的正确用法不是「拿来对标 API 报价」，而是反推自己的缺口：同样的硬件，软件栈没对齐，成本可能差出数倍。如果你是应用方，要盯的是自己的真实工作点——长上下文批量离线与交互式 Agent 走的是两条完全不同的成本曲线，用一个数字做预算必然翻车。 ...

10 月 7 日，OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna 的十月更新，两款模型向全球免费与付费用户全量开放，正式在 ChatGPT 里替换 GPT-5.6 Sol 与 GPT-5.6 Luna；Codex 与 ChatGPT Work 里的版本暂未更换。四天前（9 月 29 日）OpenAI 还追加了 GPT-6.1 Sol，作为重度任务的默认档。大多数解读在谈「变便宜了」，但十月系统卡里有三个工程信号更值得做模型选型的人细读。 信号一：错误率档位已经拉开十倍 随发布流出的第三方整理显示，在 DeepSWE 这条软件工程基准上，GPT-6 Sol 的错误率约为 1.3%，而被替换的 GPT-5.6 Sol 是 10.4%；Luna 一侧是 2.8% 对 9.5%。也就是说，Sol 与 Luna 的差距大约是二倍，而新旧代际的差距接近一个数量级。对工程团队的含义很直接：九月之后还按 5.6 时代的经验设定重试次数与人工抽检比例，会系统性低估模型的可靠性，也高估了失败率。 信号二：Luna 的「高分」可能来自过度拒答 OpenAI 自己在系统卡的安全帕累托图里承认：Luna 部分指标的提升，可能反映了一种更广泛的拒答倾向——包括对合法请求的拒绝。这是推理模型换代时常见的副作用：对齐压力上来了，安全性分数好看了，但工具调用成功率、Agent 任务完成率会先掉一截。 对做 Agent 的人这不是小事。Luna 便宜，适合当路由层和分类器，但把它直接接到写操作工具后面，拒答带来的卡顿和人工介入成本会吃掉省下的 Token 钱。正确用法是：Luna 做意图分流与信息抽取，Sol 以上档位才执行多步动作。 信号三：档位分化取代单一旗舰 九月以来的产品节奏很清楚：Astra 是探索前沿，Sol 是专业主力，Luna 是便宜快档，GPT-6.1 Sol 是重度任务特化。OpenAI 同时宣布 API 价格较 GPT-5.6 时代下降五成以上，并提示 GPT-5.5 将在 10 月 14 日从 ChatGPT、ChatGPT Work 与 Codex 下线。模型选型正在变成一件「按任务挑档」的工程活，而不是「用最新那个」。 ...

10 月 6 日更新的 Gemini API 版本说明显示，谷歌正式发布 Gemini Nano Banana 2.1（模型 ID：gemini-nano-banana-2.1）正式版（GA）。这是一款高效率图像生成与对话式智能修图模型，在 Nano Banana 2 基础上迭代。从预览转正，意味着谷歌把它当成可商用、可稳定接入产品的主力图像模型。 「对话式修图」改变了什么 过去用 AI 出图，更像抽卡：写一段提示词，等结果出来，不满意再重roll，来回之间很难精确控制。Nano Banana 2.1 主打的对话式智能修图，是把这层交互改成聊天——你可以在已有图上接着提要求，「把背景换成傍晚」「把人物往左挪一点」，模型在原图基础上局部调整，而不是重新生成一张。 这让图像生成从一次性生成，变成了可迭代的协作。对设计、电商素材、营销配图这类需要反复改稿的场景，效率提升是直接的。 过去设计师用 AI 出图，最大的痛苦不是出不来，而是改不动。提示词多写一句、少写一句，整张图可能面目全非，想只改一个细节往往要重roll半天。对话式修图把这个流程变成了「指哪改哪」，反复微调不再伤筋动骨。 把它放进 Gemini API，意味着开发者可以把这套出图与改图能力嵌进自己的产品，而不必再接一个第三方图像服务。 谷歌为什么加码图像模型 把它放进 Gemini API，说明谷歌把多模态生成当成整套模型栈的一环：文本、图像、视频不再是割裂的产品，而是同一个智能体可以调度的能力。同期谷歌还把 WeatherNext 天气、AlphaGenome 等科学模型接入 Search、Gemini、Maps，方向都是让生成与理解在一个界面里打通。 判断 Nano Banana 2.1 转正的信号，是图像生成模型进入「够用且便宜」的实用阶段。对内容团队，这意味着配图、改图可以被流水线化；对行业，它说明多模态竞争的胜负手不再是单张图多惊艳，而是能不能嵌入真实工作流、被反复调用。接下来要看的，是它在商用版权、 consistency（多图一致性）上的实际表现。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：Nano Banana 2.1 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

美国当地时间 10 月 7 日，Anthropic 上线最小号产品线的新模型 Claude Haiku 5.5，距离上一代 Haiku 4.5 发布已近一年。最炸裂的是价格：在 10 万 token 以内的请求档，输入每百万 token 仅 0.1 美元、输出 0.5 美元，缓存读取更是低到 0.01 美元——对照上代 Haiku 4.5 的 1 美元、5 美元、0.1 美元，基础价一口气降到十分之一。Anthropic 自己测算，综合不同任务新模型平均运行成本下降约 75%。 这刀砍得很有讲究 注意那个「10 万 token 以内」的前提。Anthropic 很清楚，Haiku 的用量里约九成是短提示任务——分类、抽取、路由、摘要，以及塞进多智能体系统里当子智能体。这类活调用量巨大、对延迟和成本极度敏感，却一直是利润最薄的部分。 把短上下文价格砍到一折，等于告诉开发者：那些以前因为太贵不敢铺开的高频调用，现在可以随便用了。同场 Sonnet 5.5 的缓存读取价格也减半。 为什么和 GPT-6 Luna 贴脸 有意思的是，这个价格档正好与 OpenAI 上个月发布的 GPT-6 Luna 持平。两家在「小而便宜」这一层直接撞上，说明竞争焦点正在从「谁的旗舰更聪明」，下移到「谁能把大规模后台调用做得足够便宜」。 对做 Agent 的团队，这是实打实的利好：子智能体、路由、摘要这类环节，单位成本砍到一折，意味着同样的预算能跑十倍的任务量。 还要注意那个长度门槛：超过 10 万 token 的请求会跳到更高一档收费。所以这波降价最友好的是短平快任务，长上下文应用仍需另算。Anthropic 同时把 Agent 相关能力从几乎为零抬到了约三成，意图很明显——用便宜的小模型把开发者往多智能体架构上引。 判断 小模型降价不是赔本赚吆喝，而是为更大的生态布局——把高频调用的入口占住，企业自然会在长任务上升级到 Sonnet、Opus。对开发者，现在是重新算账的时候：那些因为成本被搁置的自动化流程，值得用 Haiku 5.5 重新跑一遍 ROI。价格战打到这一步，受益的永远是真在用量上跑的人。 ...

10 月 6 日，法国 Mistral AI 冷不丁甩出旗舰新模型 Mistral Large 4，内部代号 Le Chonk（肥猫），当天以公开预览版上线 Mistral Studio。这是 Mistral 迄今最大的模型：约 1.05 万亿总参数的原生多模态混合专家（MoE）模型，每 token 激活约 49B 参数，配一个约 16 亿参数的视觉编码器，上下文窗口号称百万 token。按官方计划，权重将于 10 月底开放。 参数表里的关键信号 几个数字值得做模型的人记住：总参数约 1.05 万亿、激活 49B（含嵌入与输出层约 52B），视觉编码器 16 亿；第三方实测上下文约落在 512K 到 524K；API 定价约每百万输入 token 1.36 美元、输出 4.18 美元。基准方面，DeepSWE v1.1 约 61.7%，盲评总分 3.74、排在 Claude Opus 5 之后；在网络安全相关测试中进入全球前五，复现漏洞并打补丁得分约 82%。 它主打编码、网络安全、金融、法律与图像理解，训练动用了约 4000 块英伟达 Grace Blackwell 级机柜。 它真正想打的是谁 Mistral 自己说得直白：这是要对标最强的中国开源权重模型。过去一年，DeepSeek、Qwen、GLM 等中国开源模型在全球开发者中攻城略地，欧洲一直缺少一个体量相当、又能自主掌控的旗舰。Le Chonk 的意义不在跑分碾压，而在「开源阵营里多一个非中国选项」。 从架构看，它是指令与推理混合的细粒度专家模型，天生兼顾指令跟随、推理与智能体能力。官方把安全、金融、法律、图像理解当作主打场景，说明它瞄准的是企业级私有化部署，而不是普通聊天。 这波发布的时机也很讲究：就在 GPT-6 全量推送、Claude 小模型降价的同一周。Mistral 选在这个窗口扔出万亿模型，明显是想在媒体注意力最集中的时候，让全球开发者记住欧洲也有自己的旗舰。 ...