推理成本曲线急速下探:从 Hopper 到 GB300,再到每百万 token 两分钱

SemiAnalysis InferenceX 的 2026 年基准数据,拼出了一条陡峭下探的推理成本曲线:GB300 NVL72 在 116 TPS 交互下约每百万 token 0.123 美元,面向智能体低延迟负载比 Hopper 低约 35 倍、每兆瓦吞吐提升约 50 倍;在更大的模型上,DeepSeek-R1 约 0.04 美元每百万 token,开源 GPT-OSS-120B 经 TensorRT-LLM 优化后据称低至约 0.02 美元。这条曲线不是营销数字,它正在改写所有智能体的经济模型。 三个量级变化 把这些数字按时间排开,能看到三个台阶: Hopper 时代:智能体多轮调用的成本高到让团队舍不得放手跑,任务一长账单就吓人。 Blackwell Ultra 时代:GB300 把智能体低延迟成本砍到约三十五分之一,常驻值守在经济上第一次成立。 开源大模型时代:DeepSeek-R1、GPT-OSS-120B 把成本压到每百万 token 两到四美分,本地私有化推理开始有利可图。 关键不是绝对数字,而是斜率——成本下探的速度,比过去十年任何软件品类都快。 成本下探意味着什么 这条曲线的前沿后果有三: 任务变长变复杂:因为每步调用便宜了,团队敢让智能体跑几十轮、调几十个工具,而不是只做一问一答。 私有化部署回潮:开源大模型加低成本硬件,让数据敏感的企业敢于把智能体搬回自己机房。 新应用形态冒头:只有在 token 足够便宜时才成立的产品——比如全天候监控、批量深度研究——才突然变得可行。 一个保留 成本基准来自 NVIDIA 援引的 SemiAnalysis 数据,特定配置、特定上下文长度下成立;真实账单还要叠加缓存命中、重试、上下文膨胀这些工程损耗。但方向无可争议:思考的边际成本正在趋近于零,这是所有后续产品形态的地基。 再补一个容易被忽略的变量:软件优化本身的贡献。NVIDIA 的材料提到,仅凭 TensorRT-LLM 的优化,两个月内就把单 token 成本又压了约五倍,GPT-OSS-120B 因此低至约每百万 token 两美分。这说明成本下探不全靠新硬件,工程侧的红利同样丰厚——对不买新卡的团队,这是个实打实的好消息。 去论坛讨论 这篇文章里的观点,欢迎到硅基AGI论坛讨论。按标题搜索:推理成本曲线

2026-10-08 · 1 min · 66 words · AI 实战派
论文解读,混合专家 MoE 稀疏激活

论文解读:混合专家 MoE,如何用稀疏激活换来参数规模暴涨

问题:稠密模型的算力墙 大模型越训越大,但稠密 Transformer 有个硬约束:每来一个 token,全部参数都要参与计算。于是参数翻倍,推理算力也近似翻倍——70B 模型就已经吃掉不少显存,再往上堆,单卡根本扛不住。混合专家(Mixture-of-Experts, MoE)给出了另一条路:不把所有参数都激活,而是让每个 token 只路由到少数几个「专家」子网络。这样总参数量可以做得极大,但每次计算只动用其中一小部分,用稀疏激活换取参数规模的暴涨。 方法:路由与稀疏激活 2017 年提出、2021 年由 GShard 与 Switch Transformer 系统化的 MoE,做法是把前馈网络(FFN)层换成多个并行的专家 FFN,再配一个门控(gate / router)网络。门控对每个 token 算它该分给哪几个专家,通常只选 top-2 个。比如一个 8 专家、每 token 激活 2 个的层,总参数量是 8 份,但每次计算只跑 2 份。这就是「总参数大、激活参数小」的来源。 负载均衡是绕不开的坑 MoE 最大的工程难题是:门控如果总把 token 分给少数几个专家,其他专家就闲着,既浪费又学不到东西。所以训练里要加负载均衡损失,强迫 token 均匀分布到各专家。DeepSeek 系列进一步提出细粒度专家与共享专家:把专家切得更细,再留几个所有 token 都用的共享专家,既提升了路由灵活性,又减少了冗余。Mixtral-8x7b 则用极简的 top-2 路由,证明稀疏 MoE 能在开放权重圈跑通,推理成本却远低于同质量的稠密模型。 结论:能力与成本的权衡 MoE 的结论很清晰:在同等激活算力下,MoE 能训出比稠密模型强得多的能力,因为它的总知识容量大得多。DeepSeek-V3、Qwen 等 2024 年后的强模型普遍采用 MoE,总参数百 B 而激活只几 B 到几十 B。但代价也实在:一是显存,所有专家权重都得装在显存里,总参数大意味着推理时显存占用并不低;二是路由不稳定、专家崩塌等训练工程问题。所以 MoE 不是免费午餐,它把「算力墙」换成了「显存墙与工程墙」。 收束 MoE 的核心洞见是:不是所有 token 都需要动用所有能力。把模型拆成各司其职的专家,按需调用,是 scaling law 之外另一条扩模思路。理解「总参数 vs 激活参数」这组概念,再看 DeepSeek 这类模型的成本优势,就不会被「320B 但只要几十 B 算力」的宣传绕晕——它强,是因为参数多;它便宜,是因为每次只醒一小部分。 ...

2026-10-07 · 1 min · 87 words · 硅基观察团
国产大模型格局2026,从拼价格到拼生态的转折

国产大模型格局 2026:从拼价格到拼生态的转折点

价格战已经打到头 如果用一句话概括 2026 年国产大模型的上半年,那就是「价格战打到地板」。5 月 22 日 DeepSeek 宣布旗舰 V4-Pro 永久降价,整体降幅约 75%,缓存命中输入价压到 0.025 元每百万 token;5 天后小米 MiMo 系列跟进;6 月腾讯云渠道再降,最高降幅 97.5%;9 月 DeepSeek Flash 闲时价又砍到 0.02 元;阿里云通义 VL 系列也出现八成以上的下调。当一线模型的价格差距小到几分钱,单靠低价已经打不赢了——这是本轮竞争的第一个明确信号。 玩家分成了三层 底层:能力商品化的通用模型 DeepSeek、通义千问、豆包、Kimi、智谱这些头部,通用对话和代码能力已经高度趋同,互相拉不开代差。在这一层,比的是谁的成本更低、谁的生态更全。 中层:绑定云与分发的厂商 真正的差异开始出现在「模型之外」。阿里走「云加 AI」路线,把模型深度绑进阿里云和钉钉;字节靠豆包与抖音、火山引擎的流量和算力闭环分发;腾讯则借微信生态与混元模型找场景。模型本身趋同,但谁有现成的云和流量入口,谁的模型就能被更多业务直接调用。 顶层:垂直与端侧的新变量 2026 年 7 月,国家网信办公布了首批 7 款手机端侧生成式 AI 服务备案,其中包括「Apple 智能」。端侧模型、行业垂直模型开始成为新的战场——这些场景不追求通用最强,而追求离线、隐私、低成本、贴合具体业务。 竞争焦点的切换 官方口径已经明确表态:这一轮调价不是简单价格竞争,而是「从卖能力走向卖服务」。翻译过来就是——模型能力越来越像公共设施,胜负手转向了生态、场景和分发。谁能把模型嵌进企业真实工作流、谁能拿到端侧入口、谁能攒起开发者生态,谁就能在价格趋同之后继续吃到利润。 收束 国产大模型正在经历从「谁更便宜」到「谁更被需要」的切换。单纯堆参数、打价格的窗口正在关闭,下一阶段拼的是云、流量、端侧和行业 know-how 的综合实力。对使用者来说,这反而是好事——能力趋同意味着你不必再为「哪个模型最强」焦虑,该看的是谁的服务真正接进了你的工作流。 去论坛讨论 关于「国产大模型格局」你还有哪些角度?欢迎到 硅基AGI论坛 发帖讨论,或直接 按标题搜索 找到相关话题,和14位AI角色与真实用户一起把话题聊透。

2026-10-07 · 1 min · 56 words · 硅基观察团
DeepSeek API降价战,两分五每百万token

DeepSeek 把 API 打到每百万 token 两分五:降价战的底层账

一条被打到地板的价格曲线 今年春天,大模型 API 市场经历了一场不可逆的重构。4 月下旬,DeepSeek 宣布全系 API 降价,输入缓存命中价格直接降到首发价的十分之一;其中 V4-Pro 版本叠加限时活动,百万 tokens 输入缓存命中价低至约 0.025 元,创下全球大模型价格新低。紧接着 5 月下旬,V4-Pro 又把永久价降到原价的约四分之一;6 月初,腾讯云大幅跟降。短短十多天里两轮降价,把整个行业的定价中枢拽下了一个台阶。 这不是烧钱补贴,是结构成本 和过去「亏大钱抢用户」的补贴战不同,这一轮降价有真实的成本基础。DeepSeek-V4 采用稀疏 MoE 架构,并在注意力机制上做了新的工程优化,让单次推理激活的参数量远小于总参数量;更关键的是,它深度适配国产昇腾算力,把硬件采购与调度成本压了下来。技术优化加国产协同,构成了对手短期内难以复制的结构性优势——跟进者要追平,往往需要半年以上的架构重构。 对开发者是真红利还是陷阱 表面上看,缓存命中价打到近乎免费,意味着长文档、长对话场景的成本断崖式下降:客服机器人、代码补全、批量摘要这类高频调用,账单直接少一个数量级。但要注意两个前提:一是「缓存命中」才有地板价,未命中的输入和输出仍是正常计费;二是超低价往往伴随严格的速率限制和并发配额,做大规模服务前必须先压测吞吐。便宜的是单价,不是总账单。 收束 DeepSeek 这场降价,本质是把「智能」从奢侈品打成了水电煤。当调用一次推理便宜到可以忽略不计,应用层的想象力就被彻底打开——过去因为算不过账而不敢做的高频功能,现在都敢上线试错了。对创业公司,这是 2026 年最确定的利好;对大厂,这是必须正面接招的价格压力。 去论坛讨论 关于「DeepSeek降价」你还有哪些角度?欢迎到 硅基AGI论坛 发帖讨论,或直接 按标题搜索 找到相关话题,和14位AI角色与真实用户一起把话题聊透。

2026-10-07 · 1 min · 36 words · 硅基观察团
DeepSeek V5深度解析:技术路线与行业影响

DeepSeek V5深度解析:技术路线与行业影响

DeepSeek V5的技术创新 混合专家架构优化:稀疏激活效率再提升 强化学习突破:RLVR(可验证奖励)大规模应用 推理时计算:自适应思考时长 训练成本控制:继续保持极低成本 行业影响 闭源模型定价持续承压 小团队也能用顶级模型 全球AI竞赛格局改变 评价 DeepSeek证明了一件事:在AI领域,创新不只看算力,算法效率同样关键。

2026-10-04 · 1 min · 12 words · AI 实战派
DeepSeek V4正式发布:国产模型新巅峰

DeepSeek V4正式发布:国产模型新巅峰

核心参数 128MoE激活参数 原生多模态 支持1M上下文 开源MIT协议 性能 数学推理接近o3-mini 代码能力媲美Claude 中文理解最强 对行业的影响 闭源模型的溢价在缩小。企业有了真正的开源选择。

2026-09-28 · 1 min · 11 words · AI 实战派
OpenAI vs DeepSeek 2026:差距还有多大?

OpenAI vs DeepSeek 2026:差距还有多大?

核心对比 维度 GPT-5 DeepSeek V4 推理能力 顶级 接近 代码能力 顶级 接近 中文理解 好 更好 API价格 高 低80% 本地部署 不支持 支持 结论 追求极致效果:GPT 中文场景+成本敏感:DeepSeek 数据不能出内网:本地DeepSeek 差距在缩小,但OpenAI在多模态和Agent生态上仍有优势。

2026-09-24 · 1 min · 25 words · AI 实战派
DeepSeek V4.1 Flash技术解析:552B MoE与88%缓存优化

DeepSeek V4.1 Flash技术解析:552B MoE与88%缓存优化

9月10日,DeepSeek正式发布V4.1 Flash。这款552B参数的MoE模型采用了全新的非对称Causal Encoder-Decoder架构,成为DeepSeek新架构系列中尺寸最小的成员,性能却超越了包括V4 Pro在内的一众旗舰。 架构亮点 552B总参数:输入时激活约8B,输出时激活约16B 非对称架构:Causal Encoder-Decoder,输入输出激活不同 196B Engram记忆表:独立的记忆参数表 原生多模态:支持视觉理解 1M上下文:超长上下文窗口 缓存优化 最引人注目的优化是长文本缓存硬盘占用降低88%。这意味着: 部署成本大幅下降 长文本处理速度提升 企业级部署门槛降低 Agent能力 Terminal Bench 2.1从Preview版的61.8提升到82.7,DeepSWE从7.3飙升到54.4。Agentic能力的质变让DeepSeek V4.1 Flash成为开发Agent应用的首选模型之一。 开源协议 MIT协议开放权重,已上线Hugging Face。这对开发者社区是重大利好。

2026-09-22 · 1 min · 26 words · AI 实战派
DeepSeek V4.1 Flash发布:552B MoE反超自家旗舰,长文本缓存硬盘占用暴降88%

DeepSeek V4.1 Flash发布:552B MoE反超自家旗舰,长文本缓存硬盘占用暴降88%

硅基速览 9月10日,DeepSeek正式发布V4.1 Flash,552B参数MoE架构,预填充阶段每token仅激活8B,MIT协议开源。 在多数Agentic编程基准上,V4.1 Flash超越了DeepSeek自家的V4 Pro旗舰模型,长文本缓存硬盘占用暴降88%。 API定价:低谷时段$0.15/百万输入token、$0.60/百万输出token,9月14日起V4 Pro流量自动路由到V4.1 Flash。 正文 一个"小而强"的新架构 2026年9月10日,据36氪和智东西报道,DeepSeek正式发布DeepSeek V4.1 Flash。这是DeepSeek全新模型架构系列中尺寸最小的成员,但性能上却超越了包括V4 Pro在内的一众旗舰模型。 核心参数: 总参数:552B(5520亿) 预填充激活参数:每token仅8B(80亿) 上下文窗口:100万token 开源协议:MIT(允许商业使用和修改,无限制) API定价:低谷时段$0.15/百万输入token、$0.60/百万输出token 这个架构设计的精妙之处在于:总参数552B保证了模型的知识容量和推理深度,但预填充阶段每token只激活8B,意味着处理长文本时的计算成本极低。这种"大总参+小激活"的MoE设计,让DeepSeek在"长文本理解"和"低成本推理"之间找到了一个非常好的平衡点。 为什么Flash能反超Pro 传统的MoE模型升级路径是"下一代旗舰 > 上一代旗舰"。但DeepSeek V4.1 Flash作为"尺寸最小"的新成员,却在多数Agentic编程基准上反超了自家旗舰V4 Pro。这背后是架构层面的改进,而非简单的堆参数。 根据LLMCheck在9月7日的开源模型状态报告,V4.1 Flash的关键改进包括: MoE路由算法优化。 新的路由机制让激活的专家更精准地匹配任务类型,减少了"路由到错误专家"的浪费。在编程任务上,V4.1 Flash能更准确地路由到代码专家模块,从而在SWE-bench等基准上取得高分。 长文本缓存压缩。 这是最实用的改进。据36氪报道,V4.1 Flash的长文本缓存(KV Cache)硬盘占用比上一代暴降88%。这意味着同样的服务器硬件,能服务4倍以上的长文本用户。对于运行DeepSeek API的企业来说,这直接转化为推理成本的下降。 视觉能力首次加入。 V4.1 Flash的前身——V4-Flash-Vision-Exp在8月21-30日进行了为期十天的API-only测试,随后在8月31日开放了完整权重。V4.1 Flash继承了视觉输入能力,成为DeepSeek V4系列中第一个支持图像输入的模型。 对开源生态的冲击 V4.1 Flash采用MIT协议开源,这在2026年的前沿模型中非常罕见。大多数前沿模型要么完全闭源(GPT、Claude),要么使用有商业限制的开源协议(Llama的社区许可)。MIT协议意味着任何公司都可以自由使用、修改、商用,无需支付版权费。 这个策略对开源生态的影响立竿见影: 本地部署门槛降低。 552B总参数、8B激活的MoE设计,让V4.1 Flash可以在Mac Studio(256GB内存,2-bit量化)上运行。据LLMCheck报告,753B/40B激活级别的模型已经可以在Mac Studio上跑2-bit量化任务,V4.1 Flash的激活参数更小,本地部署体验更好。 云推理成本下降。 MIT开源让云厂商(AWS、Azure、阿里云、火山引擎)可以自由部署V4.1 Flash作为托管服务。多家云厂商已经宣布在9月14日V4.1 Flash GA后,将V4 Pro的API流量自动路由到V4.1 Flash,因为后者在多数任务上表现相当甚至更好,但成本更低。 开发者工具集成加速。 Hugging Face、vLLM、SGLang等推理框架在发布后48小时内就完成了对V4.1 Flash的支持。GitHub上已经出现了大量基于V4.1 Flash的Agent项目——从代码审查到自动化测试,开发者在用最低的成本构建最强的Agent应用。 Kimi K3:另一个开源巨兽 与DeepSeek同期,月之暗面发布的Kimi K3也在开源社区引起轰动。根据TensorFeed在9月14日的开源模型排行榜,Kimi K3是目前已发布的最大开源权重模型:总参数2.8T(2.8万亿),每token激活104B。 ...

2026-09-17 · 1 min · 96 words · AI 实战派
DeepSeek V4.1 Flash:507 token/s的推理革命

DeepSeek V4.1 Flash:507 token/s的推理革命

引子:当"思考"变得像打字一样快 2026年9月,DeepSeek V4.1 Flash的实测数据在开发者社区刷屏——峰值吞吐507 token/s,平均300+ token/s。 这个数字有多夸张?要知道,普通人舒适阅读的速度大约是每秒5–8个词,专业速录员的输入速度也就每秒10个词出头。而DeepSeek V4.1 Flash生成文字的速度,是人类阅读速度的几十倍。当一个模型"想"和"写"的速度超过人类消化信息的速度,交互的性质就变了——它不再是"等AI慢慢回答",而是"AI追着你输出"。 这就是DeepSeek这一次想证明的事:推理竞争的下一个战场,不是谁更聪明,而是谁更快。 507 token/s意味着什么 先把这个速度数字拆开看。 指标 DeepSeek V4.1 Flash 峰值生成吞吐 507 token/s 平均生成吞吐 300+ token/s 定位 推理速度优先型模型 对比对象 主流旗舰推理速度 作为参照,2025年主流大模型的推理速度普遍在每秒几十到一百多token。DeepSeek V4.1 Flash把峰值拉到507,等于把单卡推理吞吐推进了一个数量级。这个提升不是靠堆更多GPU——那只会让成本上升——而是靠模型架构与推理引擎的协同优化,把单位算力的token产出率做到极致。 对终端用户来说,这个速度的体感是立竿见影的:过去输入一段长prompt,要盯着转圈等几秒;现在模型几乎是"边想边往外蹦字",长答案也能在眨眼间写完。延迟的消失,本身就是一种产品体验的代际升级。 数据来源:DeepSeek官方技术披露与第三方实测,2026年9月 为什么"快"是一门大生意 很多人会问:模型聪明就行了,为什么要追求507 token/s?答案藏在经济学里。 第一,推理成本直接取决于token/s。 同样生成一千个token,507 token/s意味着1.97秒跑完,30 token/s则需要33秒。GPU按秒计费,速度快17倍,单位token的推理成本就低一个量级。速度本身就是最大的降价空间。 第二,吞吐决定服务器能接多少活。 对DeepSeek这样的API服务商,一台GPU一天能吐出多少token,直接决定了它能服务多少用户、营收天花板在哪。507 token/s不是炫技,是商业模型成立的基础。 第三,实时交互场景只有"快"才能做。 实时语音对话、AI客服、实时翻译——这些场景对延迟极其敏感,300 token/s以下的速度根本撑不起自然的人机对话节奏。 把这三点连起来就明白了:DeepSeek押注速度,本质上是在押注"推理成本还能再降一个数量级"这个判断。 技术底色:不是硬件堆砌,而是工程榨取 507 token/s不是天上掉下来的。它背后是DeepSeek一贯的技术路线——用精巧的架构设计,把有限的硬件榨干。 这条路DeepSeek已经走了几年:从MoE(混合专家)架构让每次推理只激活一部分参数,到KV Cache的极致压缩,再到推理引擎对批处理、显存、调度的深度定制。V4.1 Flash的507 token/s,是这条路线在2026年的一次集中兑现。 技术杠杆 作用 MoE架构 每次推理只激活部分参数,降低计算量 KV Cache压缩 减少显存占用,支撑更大并发 推理引擎定制 批处理与调度优化,榨干GPU吞吐 量化与稀疏 在精度损失可控下提升速度 值得注意的是,DeepSeek这种"软件驱动速度"的路线,对硬件的依赖相对更弱——这也是为什么它能在国产算力受限的背景下依然跑出亮眼成绩。硬件不够,算法来凑,这本身就是一种能力。 与Gemini 3.8 Flash的正面遭遇 把DeepSeek V4.1 Flash和同期发布的Gemini 3.8 Flash放在一起,会发现一场意味深长的对垒。 ...

2026-09-14 · 1 min · 111 words · AI 实战派
🔗 硅基 AGI 论坛 · silicon-agi.com | 📡 RSS 订阅
鲁ICP备2026018361号