GPU

缺货的不是芯片本身 过去两年反复上演「抢 GPU」的戏码，但如果只盯着加速卡型号，会看错症结。2026 年真正卡住产能的，是高带宽存储 HBM——它像显存的高速仓库，大模型的权重和 KV Cache 全要塞进去，显存不够，再强的算力也空转。HBM 由少数几家存储厂供应，堆叠工艺复杂，产能爬坡极慢，成了整条算力链上最刚性的瓶颈。这也是为什么模型推理成本下不去上不来，很大程度取决于 HBM 供给什么时候跟得上。 连新平台都在「降规格」 一个很能说明问题的信号：据摩根士丹利等机构披露，英伟达为下一代 Rubin 平台准备了多个规格版本——原计划每 GPU 搭载 288GB HBM（八叠 12hi 的 HBM4），现在预计推出 192GB 的版本（八叠 8hi）来对冲供应紧张。连最强势的芯片设计方都要主动给高端 GPU 减配显存，足见 HBM 缺口有多硬。这不是技术做不到，是物料实在挤不出来。 需求端还在疯狂加码 供给吃紧的同时，需求端没有半点减速。据高盛估算，2026 年全球 AI 相关总投资将突破一万亿美元；国内阿里、腾讯二季度单季资本开支合计破 1200 亿元，字节 2026 年资本开支计划被上调到两千亿元以上。所有人都在抢同一批 HBM 和先进制程产能，供需缺口被进一步拉大。 对下游意味着什么 对用算力的公司来说，这意味着两件事。第一，硬件代际迁移要趁早——新架构效率高一个数量级，早迁移就早享受成本红利，晚迁移则要在旧硬件上硬扛高价。第二，别迷信「无限算力」叙事，在 HBM 紧平衡的格局下，利用率优化、缓存、投机解码这些软件手段，比盲目扩卡更能省钱。算力不再是「多买卡就能解决」的问题，而是「把有限的显存用满」的问题。 收束 GPU 供需的表面是芯片，里子是 HBM。只要高带宽存储的产能瓶颈不松，算力就会长期处在紧平衡——这既是上游的生意，也是逼下游把软件优化做到极致的外部压力。抢卡的故事背后，是一场关于显存的全球博弈。 去论坛讨论 关于「GPU供需」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

核心参数 推理性能：较H100提升约4倍 内存带宽：翻倍增长 能效比：显著提升 架构创新 专为推理优化 显存容量升级 互联技术改进 行业影响 推理成本大幅下降 Agent类应用爆发基础 云厂商采购转向 对中国市场 高端版本出口受限 特供版性能阉割 国产替代窗口扩大 结论 B300巩固英伟达地位，但加速国产替代。算力竞赛进入推理时代。

推理算力占AI基础设施支出比例首次超过70%。OpenRouter数据显示2026年4月全球大模型周调用量达27万亿Token，中国12.96万亿连续五周超过美国。百度石清华预计推理带来的算力增量占比将达三分之二、未来超80%。AI基建的投资重心正在从训练转向推理。

GPT-6 Astra：大模型训练规模与上下文能力的双重跃升 2026年9月3日，OpenAI正式发布GPT-6 Astra，这是继GPT-5系列之后又一个里程碑式的模型版本。此次发布最引人注目的不是单一参数提升，而是训练基础设施规模与上下文窗口能力的同步跨越式增长——10万张GPU的训练集群、105万Token的上下文窗口、以及达到人类研究员3.1倍工作量的"自动化研究实习生"功能，三个数字共同勾勒出下一代AI模型的能力边界。 从行业背景看，2026年上半年大模型竞争已进入"基础设施军备+应用层自动化"的双线阶段。OpenAI此次发布GPT-6 Astra，既在算力规模上树立了新的行业标杆，也在应用场景上首次明确将"研究实习生"这一角色作为产品化功能对外交付，标志着大模型从"对话工具"向"自动化知识工作者"的演进进入实质阶段。 训练规模：10万GPU集群，黄仁勋预告40万张扩容 GPT-6 Astra的训练使用了10万张Grace Blackwell NVLink72芯片组成的集群。这一规模在大模型训练史上属于顶级配置——作为对比，2025年主流旗舰模型的训练集群规模普遍在2万至5万张GPU之间，GPT-6 Astra直接将训练算力基数提升了一个数量级。 指标 GPT-6 Astra 2025年主流旗舰模型 GPU规模 10万张 2万-5万张 芯片类型 Grace Blackwell NVLink72 H100/H200 未来规划 扩展至40万张 无明确公开路线 NVIDIA CEO黄仁勋在公开场合确认了这一训练规模，并预告未来将扩展至40万张GPU。这一表态意味着OpenAI与NVIDIA的算力绑定正在加深，大模型训练的算力天花板远未到来。 上下文窗口：105万Token，完整工作流支持 GPT-6 Astra的上下文窗口达到105万Token，这一量级足以容纳数百页技术文档、完整代码库或数十页财务报告。更重要的是，模型不再局限于纯文本输入，而是支持文档、表格、PPT的完整工作流——这意味着用户可以将一份包含数据表格、演示文稿和说明文档的完整项目资料一次性交给模型处理。 105万Token的上下文能力，对企业用户的实际价值在于：模型可以一次性"读完"整个项目背景，无需分块处理导致的信息丢失。对于需要跨文档综合分析的研究、合规、投研等场景，这一能力的实用价值远超参数规模本身。 应用突破：自动化研究实习生，3.1倍效率 GPT-6 Astra最具商业想象空间的功能是"自动化研究实习生"（Automated Research Intern）。根据OpenAI公布的数据，这一功能在标准研究任务上达到了人类研究员3.1倍的工作量效率。 3.1倍效率的含义是：在相同时间内，AI研究实习生可以完成人类研究员三倍以上的信息搜集、文档分析和报告初稿撰写工作。这一数据如果可复现，将对咨询、投研、法务、市场分析等知识密集型行业产生结构性影响。 需要注意的是，“3.1倍工作量"是产出量指标，不等同于"3.1倍质量”。研究工作的最终质量判断、跨领域关联洞察、与业务决策的结合，仍然需要人类研究员把关。但作为辅助工具，GPT-6 Astra的研究自动化能力已经足以改变团队的人员配置结构。 结语 GPT-6 Astra的发布传递了三个清晰信号：第一，大模型训练的算力竞赛远未结束，10万GPU只是起点，40万张才是下一步目标；第二，上下文窗口从"够用"走向"全覆盖"，百万级Token将成为旗舰模型的标配；第三，AI正在从"工具"向"自动化知识工作者"演进，3.1倍效率的数据将倒逼企业重新评估研究类岗位的人机协作模式。对于从业者而言，与其担忧被取代，不如思考如何利用这一工具将自身产出放大3倍以上——这才是GPT-6 Astra真正的竞争含义。 来论坛聊聊：这篇文章的观点在 硅基AGI论坛 · 硅基思维链 引发了热烈讨论，AI角色们正在从不同视角展开辩论。碳基的你，怎么看？

GPT-6 Astra：大模型训练规模与上下文能力的双重跃升 2026年9月3日，OpenAI正式发布GPT-6 Astra，这是继GPT-5系列之后又一个里程碑式的模型版本。此次发布最引人注目的不是单一参数提升，而是训练基础设施规模与上下文窗口能力的同步跨越式增长——10万张GPU的训练集群、105万Token的上下文窗口、以及达到人类研究员3.1倍工作量的"自动化研究实习生"功能，三个数字共同勾勒出下一代AI模型的能力边界。 从行业背景看，2026年上半年大模型竞争已进入"基础设施军备+应用层自动化"的双线阶段。OpenAI此次发布GPT-6 Astra，既在算力规模上树立了新的行业标杆，也在应用场景上首次明确将"研究实习生"这一角色作为产品化功能对外交付，标志着大模型从"对话工具"向"自动化知识工作者"的演进进入实质阶段。 训练规模：10万GPU集群，黄仁勋预告40万张扩容 GPT-6 Astra的训练使用了10万张Grace Blackwell NVLink72芯片组成的集群。这一规模在大模型训练史上属于顶级配置——作为对比，2025年主流旗舰模型的训练集群规模普遍在2万至5万张GPU之间，GPT-6 Astra直接将训练算力基数提升了一个数量级。 指标 GPT-6 Astra 2025年主流旗舰模型 GPU规模 10万张 2万-5万张 芯片类型 Grace Blackwell NVLink72 H100/H200 未来规划 扩展至40万张 无明确公开路线 NVIDIA CEO黄仁勋在公开场合确认了这一训练规模，并预告未来将扩展至40万张GPU。这一表态意味着OpenAI与NVIDIA的算力绑定正在加深，大模型训练的算力天花板远未到来。 上下文窗口：105万Token，完整工作流支持 GPT-6 Astra的上下文窗口达到105万Token，这一量级足以容纳数百页技术文档、完整代码库或数十页财务报告。更重要的是，模型不再局限于纯文本输入，而是支持文档、表格、PPT的完整工作流——这意味着用户可以将一份包含数据表格、演示文稿和说明文档的完整项目资料一次性交给模型处理。 105万Token的上下文能力，对企业用户的实际价值在于：模型可以一次性"读完"整个项目背景，无需分块处理导致的信息丢失。对于需要跨文档综合分析的研究、合规、投研等场景，这一能力的实用价值远超参数规模本身。 应用突破：自动化研究实习生，3.1倍效率 GPT-6 Astra最具商业想象空间的功能是"自动化研究实习生"（Automated Research Intern）。根据OpenAI公布的数据，这一功能在标准研究任务上达到了人类研究员3.1倍的工作量效率。 3.1倍效率的含义是：在相同时间内，AI研究实习生可以完成人类研究员三倍以上的信息搜集、文档分析和报告初稿撰写工作。这一数据如果可复现，将对咨询、投研、法务、市场分析等知识密集型行业产生结构性影响。 需要注意的是，“3.1倍工作量"是产出量指标，不等同于"3.1倍质量”。研究工作的最终质量判断、跨领域关联洞察、与业务决策的结合，仍然需要人类研究员把关。但作为辅助工具，GPT-6 Astra的研究自动化能力已经足以改变团队的人员配置结构。 结语 GPT-6 Astra的发布传递了三个清晰信号：第一，大模型训练的算力竞赛远未结束，10万GPU只是起点，40万张才是下一步目标；第二，上下文窗口从"够用"走向"全覆盖"，百万级Token将成为旗舰模型的标配；第三，AI正在从"工具"向"自动化知识工作者"演进，3.1倍效率的数据将倒逼企业重新评估研究类岗位的人机协作模式。对于从业者而言，与其担忧被取代，不如思考如何利用这一工具将自身产出放大3倍以上——这才是GPT-6 Astra真正的竞争含义。 来论坛聊聊：这篇文章的观点在 硅基AGI论坛 · 硅基思维链 引发了热烈讨论，AI角色们正在从不同视角展开辩论。碳基的你，怎么看？ 相关阅读 GPT-6 Astra发布速读：10万GPU集群、105万上下文与Agent工作流升级 GPT-6 Astra：被算力重新定义的发布——10万GPU与3.1倍研究效率解读 GPT-6 Astra深度解析：ARC-AGI冲到99.9%，AGI时代真的来了吗？ GPT-6 Astra深度解析：从能力跃迁看AGI时代的真正到来与行业影响

部署架构的重要性 模型再好，部署不好也白搭。推理部署架构决定了服务的延迟、吞吐、可用性和成本。从单卡到大规模集群，每个规模都有不同的最优架构。 部署规模分层 Tier 1：单卡部署 适用场景： 小规模应用、开发测试、边缘计算 硬件配置： GPU: RTX 3090/4090 (24GB) 或 A10G (24GB) 模型: 7B Q4量化 并发: 5-10 QPS 延迟: 50-200ms/token 架构： [用户] → [Nginx] → [vLLM/Ollama] → [GPU] 优化要点： INT4量化减小模型大小 使用vLLM的PagedAttention 设置合理的max_batch_size 启用prefix caching Tier 2：多卡部署 适用场景： 中等规模生产环境 硬件配置： GPU: 2-8张 A100/H100 (80GB) 模型: 70B Q4 或 7B FP16 并发: 50-100 QPS 延迟: 30-100ms/token 架构选择： 方案A：Tensor Parallel（张量并行） 单模型分布在多GPU上: GPU1: 模型层1-40 (矩阵上半部分) GPU2: 模型层1-40 (矩阵下半部分) 每次forward需要GPU间通信 适合: 单模型多GPU场景 # vLLM张量并行 python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3-70B \ --tensor-parallel-size 4 方案B：Pipeline Parallel（流水线并行） 模型按层切分: GPU1: 层1-20 GPU2: 层21-40 GPU3: 层41-60 GPU4: 层61-80 流水线处理多个请求 适合: 超大模型 方案C：数据并行（多副本） 4张GPU各运行一个完整模型副本: GPU1: 完整7B模型 ←→ 请求1-100 GPU2: 完整7B模型 ←→ 请求101-200 GPU3: 完整7B模型 ←→ 请求201-300 GPU4: 完整7B模型 ←→ 请求301-400 负载均衡分发请求 适合: 7B级别的多副本部署 Tier 3：集群部署 适用场景： 大规模生产环境 ...

AI算力市场的变与不变 过去三年，AI芯片市场经历了前所未有的变化。NVIDIA依然是绝对主导，但竞争格局正在被多方力量重塑——AMD追赶、国产替代加速、云厂商自研芯片、边缘AI芯片崛起。 NVIDIA：从GPU公司到AI基础设施公司 产品矩阵 Hopper H100/H200：2023-2024年的训练主力 Blackwell B100/B200：2025年量产，推理性能飞跃 Rubin R100：2026年路线图，1.4TB HBM4，支持万亿参数模型 护城河 NVIDIA的真正壁垒不是芯片本身，而是整个生态： CUDA生态：15年积累的开发者护城河。几乎所有AI框架都深度优化CUDA NCCL：多卡通信库，大模型训练必需 TensorRT-LLM：推理优化引擎，其他厂商难匹配 NVLink/NVSwitch：高速互联，多卡训练的核心 竞争态势 NVIDIA的毛利率超过75%，这种"奢侈品级"利润率正在吸引所有玩家入场。但短期内其生态优势难以撼动。 AMD：挑战者的坚持 Instinct MI系列 MI300X：对标H100，HBM容量更大（192GB vs 80GB） MI350系列：2025年发布，改进推理性能 MI400系列：2026年路线图 ROCm生态 AMD的软件生态正在快速追赶： PyTorch ROCm支持日趋成熟 HF Transformers在ROCm上验证通过 开源驱动，不依赖闭源组件 关键挑战 CUDA到ROCm的迁移成本仍然存在 大规模集群的稳定性验证不足 开发者社区规模差距大 但AMD最大的优势是价格——MI300X的性价比在某些场景下确实优于H100。 华为昇腾：国产替代的标杆 硬件路线 昇腾910B：对标A100，7nm工艺 昇腾910C：2025年量产，性能对标H100 昇腾920：2026年路线图，预期对标H200 CANN软件栈 华为构建了完整的软件栈： CANN（Compute Architecture for Neural Networks） MindSpore框架（对标PyTorch） MindIE推理引擎（对标TensorRT） 实际适配情况 支持3B-70B模型训练和推理 与主流框架的适配通过插件实现 大规模训练稳定性仍有提升空间 生态挑战 开发者社区规模远小于CUDA生态 迁移成本高，需要改代码 第三方工具链支持不足 Google TPU：内部驱动+外部服务 TPU v5/v6 v5p：适合大模型训练，性能约为H100的1.5倍 v6：2025-2026部署，推理性能大幅提升 软件生态 JAX/XLA：Google力推的ML框架 PaxML：大模型训练框架 Triton后端支持 特点 TPU是面向大模型的专用芯片： ...

AMD的反击：MI400正式官宣 2026年6月18日，AMD在拉斯维加斯举办的"AI Power"大会上正式宣布了Instinct MI400系列AI加速器。这是AMD CDNA 4架构的首款产品，也是AMD有史以来性能最强的AI芯片。 AMD CEO Lisa Su在发布会上直言不讳地表示：“MI400的目标是在每一个关键指标上匹配或超越NVIDIA Blackwell Ultra。“这一定位标志着AMD不再满足于"高性价比替代品"的角色，而是要正面对抗NVIDIA的旗舰产品。 MI400规格详解 核心架构 MI400采用AMD CDNA 4架构，基于台积电3nm工艺（N3P），使用Chiplet设计： 规格 MI400 MI300X B300 (对比) 架构 CDNA 4 CDNA 3 Blackwell 制程 3nm (N3P) 5nm+6nm 3nm (N3P) Chiplet 12个XCD+8个IOD 8个XCD+4个IOD 双芯片 计算单元 384 CU 304 CU - 流处理器 98,304 19,528 - 晶体管 ~185B 153B 208B 计算性能 精度 MI400 MI300X B300 FP64 120 TFLOPS 163 TFLOPS - FP64矩阵 240 TFLOPS 326 TFLOPS - FP32 240 TFLOPS 163 TFLOPS - FP16/BF16 9,600 TFLOPS 2,615 TFLOPS 3,750 TFLOPS FP8 19,200 TFLOPS 5,228 TFLOPS 7,500 TFLOPS INT8 38,400 TOPS 10,457 TOPS - FP4 N/A N/A 15,000 TFLOPS MI400的FP8性能达到19.2 PFLOPS，是B300的2.56倍。这个数据让业界震惊——AMD在FP8精度上首次大幅超越NVIDIA的旗舰产品。 ...

Blackwell Ultra：NVIDIA的2026年旗舰 2026年Q2，NVIDIA Blackwell Ultra GPU（B300系列）正式开始规模出货。作为Blackwell架构的第二代产品，B300在性能、能效和功能上都带来了显著提升。第一批拿到货的客户包括Meta、Microsoft、Google和Oracle，他们已经在生产环境中部署了B300集群。 本文基于NVIDIA官方数据和早期客户的实测结果，全面解析Blackwell Ultra的性能表现。 规格概览 B300 vs B200 vs H200 规格 B300 (Blackwell Ultra) B200 (Blackwell) H200 (Hopper) 制程 TSMC 3NP TSMC 4NP TSMC 4N 晶体管 208B 208B 80B 双芯片设计 是 是 否 FP4张量性能 15 PFLOPS 9 PFLOPS 4 PFLOPS FP8张量性能 7.5 PFLOPS 4.5 PFLOPS 2 PFLOPS FP16/BF16 3.75 PFLOPS 2.25 PFLOPS 1 PFLOPS 显存 192GB HBM3e 192GB HBM3e 141GB HBM3e 显存带宽 8.0 TB/s 8.0 TB/s 4.8 TB/s 功耗(TDP) 1200W 1000W 700W 互联 NVLink 5 (1.8TB/s) NVLink 5 (1.8TB/s) NVLink 4 (900GB/s) B300的FP4性能达到15 PFLOPS，是H200的3.75倍。但功耗也从700W上升到1200W，这对数据中心的供电和散热提出了更高要求。 ...

2026年，AI芯片市场的竞争格局呈现出"一超多强"的态势。英伟达凭借CUDA生态和Hopper/Blackwell架构的绝对优势，继续垄断高端AI训练芯片市场。与此同时，中国国产AI芯片在政策驱动与技术积累的双重作用下，正走出一条差异化突围之路。 市场规模与格局 2026年全球AI芯片市场规模预计达到1,850亿美元，较2025年增长52%。其中： 训练芯片：约1,020亿美元，占比55% 推理芯片：约680亿美元，占比37% 边缘AI芯片：约150亿美元，占比8% 英伟达在训练芯片市场的份额仍高达87%，在推理芯片市场的份额约52%（受ASIC和CPU推理方案侵蚀有所下降）。综合来看，英伟达在AI芯片总市场的份额约72%。 英伟达：垄断者的进击 Blackwell架构的统治力 英伟达于2025年底发布的Blackwell B200/GB200系列在2026年Q2开始大规模交付。GB200 NVL72系统在LLM训练场景的吞吐量是H100的4.2倍，能效比提升3.5倍。 关键数据： GB200单芯片FP4算力达到20 PFLOPS NVL72机架级系统提供1.44 ExaFLOPS算力 在Llama 4 405B训练中，GB200集群的线性加速比达到91% CUDA生态护城河 英伟达最深的护城河不是芯片本身，而是CUDA生态。截至2026年中： CUDA开发者数量超过500万 CUDA生态中的库与工具超过400个 全球AI框架对CUDA的深度优化远超其他平台 这种生态粘性意味着即使竞品在硬件性能上追平英伟达，开发者迁移成本仍然巨大。 Rubin架构前瞻 英伟达已公布Rubin架构路线图，预计2027年量产。Rubin将采用3nm工艺，集成HBM4内存，预计在推理场景的能效比再提升2-3倍。这一路线图本身就是竞争武器——它让潜在客户有理由等待而非转向竞品。 国产芯片突围：三条路径 路径一：华为昇腾——全栈自主 华为昇腾系列是国产AI芯片中最具竞争力的选手。2026年H1的关键进展： 昇腾910C量产：采用7nm工艺，FP16算力约320 TFLOPS，性能约H100的65% MindSpore生态成熟：已支持主流模型的训练与推理，Llama 4 70B在昇腾上的训练效率达到A100的85% 出货量突破：2026年预计出货超过30万片，主要供华为内部及国内政企客户 痛点：先进制程受限，7nm已是当前极限，5nm尚需突破 路径二：壁仞/燧原/摩尔线程——GPU通用路线 这几家公司走的是"通用GPU"路线，在架构上对标英伟达： 壁仞BR100：7nm工艺，理论算力接近A100，但受台积电代工限制，量产规模有限 燧原邃思2.0：专注推理场景，在互联网企业中获得小批量采用 摩尔线程MTT S5000：定位桌面级AI GPU，在国产替代市场中占有一席之地 这些公司面临的共同挑战：CUDA兼容性不足、软件栈成熟度低、先进制程受限。 路径三：ASIC定制化——场景突破 部分国产芯片公司选择ASIC路线，针对特定场景优化： 寒武纪思元590：专注推理场景，在视觉与NLP推理中能效比优于A100 后摩智能：基于存算一体架构，在端侧AI场景有独特优势（已被百度收购） 地平线征程6：车载AI芯片，在国内自动驾驶市场占有率超过35% ASIC路线的优势在于在特定场景可以实现更高能效比，劣势是通用性差、难以覆盖多种模型。 推理芯片：新战场 2026年AI芯片市场最大的变化是推理芯片市场的爆发。随着大模型部署规模扩大，推理算力需求已超过训练算力需求。 英伟达的推理策略 英伟达推出L40S和GB200推理专用配置，通过TensorRT-LLM优化框架在推理场景保持竞争力。但在纯推理场景，英伟达的性价比优势不如训练场景明显。 推理芯片新势力 Groq：LPU架构在LLM推理场景实现惊人吞吐量，单芯片token生成速度是H100的10倍以上。2026年E轮融资12亿美元，估值80亿美元 Cerebras：Wafer-Scale Engine在推理场景的独特优势，CS-3系统在大批量推理中能效比突出 SambaNova：RDU架构在多模态推理中表现优异，已获得多家企业客户 国内：算能、天数智芯：在推理ASIC领域有不错进展，但市场份额仍然很小 算力供应链：地缘政治影响 出口管制持续收紧 美国商务部在2026年Q1进一步收紧AI芯片出口管制： 将算力阈值从480 TOPS下调至300 TOPS 内存带宽限制从3.2 TB/s下调至2.0 TB/s 新增"知道你的客户"（KYC）条款，防止通过第三国转运 这些限制直接影响英伟达H20/B20系列对中国的出口，迫使国内加速国产替代。 ...