Blackwell

vLLM 团队 8 月 6 日发了一篇博客：在 Qwen3.5 上把总吞吐做到单 GPU 约 25K TPS。这个数字背后，是一次对「混合架构」的服务化攻坚。 全注意力加 GDN 为什么让服务化变难？ Qwen3.5 不是纯 Transformer，而是把全注意力层与 Gated Delta Network（GDN）层叠在一起。GDN 属于线性/SSM 一路的高效结构，状态表示与注意力的 KV cache 完全不同。这带来两个工程难题：怎么在 Blackwell GPU 上把 GDN 算快，以及怎么在 prefill 与 decode worker 之间正确搬运这种异构状态。 25K TPS/GPU 这个数字是怎么挤出来的？ vLLM 的做法分两路：在算力侧针对 Blackwell 对 GDN 算子做专门加速；在通信侧扩展 NIXL 分离服务路线，让注意力 KV 与 GDN 状态都能跨 worker 传递。博客特别提到，SSM 支持 P/D 分离是社区沿着 NIXL 路线推出来的——这说明开源推理栈对新架构的适配速度，已经快到能跟上新模型发布节奏。 这对要上 Qwen3.5 的部署者意味着什么？ 如果你要上 Qwen3.5 这类混合架构模型，别拿纯 Transformer 的经验直接套：prefix caching 的行为、P/D 分离的可用性、甚至默认参数都可能不同。上线前按官方部署提示逐项核对，尤其关注混合缓存开关。 混合架构给部署者提了什么醒？ 25K TPS/GPU 证明了混合架构既能省显存、又能在新硬件上跑出高吞吐。未来模型不会再是清一色注意力，推理栈必须学会同时伺候两种状态。 ...

NVIDIA 官方反复强调，GB300 NVL72 那 $0.123/百万 token、约 116 TPS/用户的数字，是用 Dynamo 加 TensorRT-LLM 打出来的，不是开箱即用的通用框架。TensorRT-LLM 的核心动作是「先编译 engine，再加载服务」——这和一条命令拉起的范式完全不同。想在自己的 Blackwell 卡上逼近官方数字，就得过 build engine 这一关。 TensorRT-LLM 为什么要先编译后运行？ 第一步，把开源模型转成中间 checkpoint，再 build 成针对你这套 GPU 拓扑优化的 engine。关键编译参数包括：最大批大小、最大序列长度、张量并行度、是否开启分页 KV cache。这些参数一旦定死，engine 就定型了，改任何一个都要重新编译。第二步，用编译好的 engine 起推理服务，这时你会发现启动快得多——因为重活已经在 build 时干完了。 哪三个参数最容易踩错？ 最大序列长度设太大会让 engine 体积暴涨、显存预留过多；按业务真实 P99 长度设，不要拍脑袋给一个远超需要的值。张量并行度要和你实际卡数一致，八卡机器别 build 成四路并行。分页 KV cache 的块大小影响显存碎片，默认值通常够用，但长上下文场景值得微调。 编译报错该怎么一步步排查？ build 阶段最常见的错是模型与算子不兼容——某些自定义算子在新架构上需要最新版 TensorRT-LLM。遇到算子不支持，先查版本，别急着改模型。另一个坑是 build 很吃磁盘和显存，build 时最好独占机器，别和别的任务抢显存。 编译耗时和版本升级要注意什么？ 要有心理准备：编译 engine 在大模型上可能要几十分钟甚至更久，这是一次性成本，但团队会因此倾向于少改配置。建议把常用配置固化成脚本和模板，build 过程放进缓存——同一套参数、同一版本工具链，不必每次重编。另外，工具链小版本升级后，旧 engine 未必能加载，升级前先在测试环境重新编译一遍验证，别在生产上原地升级，否则一次启动失败就是全站事故。 什么场景才值得用 TensorRT-LLM？ TensorRT-LLM 的性能上限确实高，但它把灵活性换成了「编译期定型」。对追求极限单 token 成本、流量波形平稳的在线服务，值得投入；对需要频繁换模型、频繁调参的研发环境，通用动态框架仍然更顺手。选哪个，看你是要稳态产能还是要迭代速度。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：TensorRTLLM部署

两年前谈量化，聊的是 GPTQ、AWQ、GPTQ-for-LLM 这些在权重训练完之后「再压一遍」的离线技巧。2026 年这条线换了赛道：NVIDIA 在 Blackwell 与 Rubin 上把 FP4 做成硬件原生格式，SGLang 直接支持 FP4/FP8/INT4 量化路径，Unsloth 在 Blackwell 上针对 NVFP4 优化，Qwen3.8-Flash-Next 发布当天社区就放出 RadixArk/NVFP4 量化版。为什么说今天要重新看量化？ 后训练量化与硬件原生是两回事 GPTQ/AWQ 时代，4bit 是「软」压缩：权重存成 4bit，计算时还要反量化回高精度，靠近似误差换显存。它的收益主要在显存容量，速度提升有限，且需要逐模型校准。 NVFP4/MXFP4 是「硬」格式：GPU 的张量核心原生支持 4bit 矩阵运算，DeepGEMM 内核直接在 4bit 上做矩阵乘，不需要反量化回传。收益从「省显存」变成「真实吞吐翻倍」——Vera Rubin NVL72 的 3.6 EFLOPS，本身就是按 NVFP4 算的。 生态正在一天内成熟 看三个信号： SGLang 在官方文档里把 FP4/FP8/INT4/AWQ/GPTQ 并列为支持的量化格式，FP4 已不是实验项。 Unsloth 与 NVIDIA 合作博客明确：Blackwell 上单卡可微调到 40B 级模型，且针对 NVFP4 精度优化。 Qwen3.8-Flash-Next 发布当天，RadixArk 就放出 NVFP4 检查点，等于「模型发布即 FP4 可用」。 这意味着量化正在从「部署时的最后一道工序」前移到「模型出厂预设」。未来的权重发布很可能默认附带 FP4 版本。 给实践者的建议 如果你的目标硬件是 Hopper（H100/H200），FP4 没有原生支持，仍以 FP8/INT8 为主；如果已经上 GB300 或未来的 Rubin，直接评估 NVFP4 检查点，并用自己的评测集（而不是厂商跑分）验证精度损失。跨硬件迁移时，量化格式要和算力一起选型，不能事后再压。 ...

一场被算力重新定义的发布 9月3日，OpenAI正式发布GPT-6 Astra。这不是一次常规的版本迭代，而是一次把"训练规模"和"自动化研究效率"两个维度同时推到历史新高的发布会。 最刺眼的数字有两个： 训练集群：超过 10万张英伟达 Grace Blackwell NVLink72 芯片组成的超级集群 上下文窗口：105万Token，约合 78万中文字 黄仁勋在发布会上亲自站台确认这一规模，并直接预告：40万张GPU的下一代集群即将上线。这意味着算力军备竞赛已经从"万卡"时代进入"十万卡→四十万卡"的量级跃迁。 105万Token意味着什么 105万Token上下文不是简单把窗口拉长，而是直接改变了模型能处理的工作负载类型。 一、复杂文档工作流成为原生能力 过去需要切片、RAG、分块处理的任务，现在可以直接丢给模型： 一整套财务报表（含表格、附注、审计意见）一次性读完 一份完整的产品PRD + 技术方案 + 测试用例交叉核对 数百页PPT逐页理解并生成修改建议 代码仓库级别的跨文件重构（不再依赖embedding召回） 这对企业级用户是实质性的效率提升——过去需要工程团队搭RAG管线才能解决的问题，现在一个API调用就完成。 二、Agent长链路任务的可靠性提升 上下文窗口够大，意味着Agent在多步推理时不需要频繁"遗忘"之前的中间结果。对工具调用、多轮规划、长任务执行这类场景，幻觉率和跑偏率都会显著下降。 3.1倍：自动化研究实习生的效率拐点 OpenAI同步披露了一个更具杀伤力的数据：截至8月中旬，GPT-6系列作为"自动化研究实习生"，完成的工作量已达到人类研究员的3.1倍。 这不是跑分，而是实际产出——文献综述、实验设计、代码实现、论文草稿、数据清洗全链路。 对科研行业的冲击 入门级研究岗位的重复性工作（文献整理、代码模板、初步分析）将被快速替代 研究团队组织结构会变化：一个PI带一个AI Agent集群，可能替代过去5-10个初级研究员 学术发表节奏会被加速：从idea到初稿的周期可能从月级压缩到周级 算力军备的第二层含义 10万张Blackwell芯片不是终局，而是起跑线。黄仁勋预告的40万张GPU集群，指向的是下一代模型训练规模的再翻两番。 这背后有两个连锁反应： GPU供给线被锁死——英伟达HBM、先进封装、CoWoS产能会被OpenAI、Google、Meta三家持续虹吸 中小模型厂商的生存空间被挤压——当头部模型把上下文和Agent能力做到这个量级，“小而美"的模型除非在垂直成本上有数量级优势，否则很难突围 对开发者的实操建议 不要急着重写你的应用——GPT-6 Astra的API刚开放，先做评测，再决定是否迁移 关注长上下文场景——如果你正在做RAG，先测试GPT-6 Astra直读能力，可能砍掉一整套embedding管线 Agent工作流优先迁移——多步推理、工具调用类任务的收益最大 成本算账——105万Token上下文调用不便宜，先在低频高价值场景验证ROI 结语 GPT-6 Astra发布的真正信号，不是"模型又变强了”，而是AI从"辅助工具"向"自动研究员"的身份切换正在发生。当3.1倍这个数字出现，行业讨论的主题已经从"AI能不能用"变成"哪些岗位会被先替代"。 对开发者和创业者而言，窗口期还在——但窗口正在以周为单位收窄。

一场被算力重新定义的发布 9月3日，OpenAI正式发布GPT-6 Astra。这不是一次常规的版本迭代，而是一次把"训练规模"和"自动化研究效率"两个维度同时推到历史新高的发布会。 最刺眼的数字有两个： 训练集群：超过 10万张英伟达 Grace Blackwell NVLink72 芯片组成的超级集群 上下文窗口：105万Token，约合 78万中文字 黄仁勋在发布会上亲自站台确认这一规模，并直接预告：40万张GPU的下一代集群即将上线。这意味着算力军备竞赛已经从"万卡"时代进入"十万卡→四十万卡"的量级跃迁。 105万Token意味着什么 105万Token上下文不是简单把窗口拉长，而是直接改变了模型能处理的工作负载类型。 一、复杂文档工作流成为原生能力 过去需要切片、RAG、分块处理的任务，现在可以直接丢给模型： 一整套财务报表（含表格、附注、审计意见）一次性读完 一份完整的产品PRD + 技术方案 + 测试用例交叉核对 数百页PPT逐页理解并生成修改建议 代码仓库级别的跨文件重构（不再依赖embedding召回） 这对企业级用户是实质性的效率提升——过去需要工程团队搭RAG管线才能解决的问题，现在一个API调用就完成。 二、Agent长链路任务的可靠性提升 上下文窗口够大，意味着Agent在多步推理时不需要频繁"遗忘"之前的中间结果。对工具调用、多轮规划、长任务执行这类场景，幻觉率和跑偏率都会显著下降。 3.1倍：自动化研究实习生的效率拐点 OpenAI同步披露了一个更具杀伤力的数据：截至8月中旬，GPT-6系列作为"自动化研究实习生"，完成的工作量已达到人类研究员的3.1倍。 这不是跑分，而是实际产出——文献综述、实验设计、代码实现、论文草稿、数据清洗全链路。 对科研行业的冲击 入门级研究岗位的重复性工作（文献整理、代码模板、初步分析）将被快速替代 研究团队组织结构会变化：一个PI带一个AI Agent集群，可能替代过去5-10个初级研究员 学术发表节奏会被加速：从idea到初稿的周期可能从月级压缩到周级 算力军备的第二层含义 10万张Blackwell芯片不是终局，而是起跑线。黄仁勋预告的40万张GPU集群，指向的是下一代模型训练规模的再翻两番。 这背后有两个连锁反应： GPU供给线被锁死——英伟达HBM、先进封装、CoWoS产能会被OpenAI、Google、Meta三家持续虹吸 中小模型厂商的生存空间被挤压——当头部模型把上下文和Agent能力做到这个量级，“小而美"的模型除非在垂直成本上有数量级优势，否则很难突围 对开发者的实操建议 不要急着重写你的应用——GPT-6 Astra的API刚开放，先做评测，再决定是否迁移 关注长上下文场景——如果你正在做RAG，先测试GPT-6 Astra直读能力，可能砍掉一整套embedding管线 Agent工作流优先迁移——多步推理、工具调用类任务的收益最大 成本算账——105万Token上下文调用不便宜，先在低频高价值场景验证ROI 结语 GPT-6 Astra发布的真正信号，不是"模型又变强了”，而是AI从"辅助工具"向"自动研究员"的身份切换正在发生。当3.1倍这个数字出现，行业讨论的主题已经从"AI能不能用"变成"哪些岗位会被先替代"。 对开发者和创业者而言，窗口期还在——但窗口正在以周为单位收窄。 相关阅读 GPT-6 Astra发布实测：10万GPU训练、105万上下文与3.1倍研究实习生效率 GPT-6 Astra发布速读：10万GPU集群、105万上下文与Agent工作流升级 GPT-6 Astra深度解析：ARC-AGI冲到99.9%，AGI时代真的来了吗？ GPT-6 Astra深度解析：从能力跃迁看AGI时代的真正到来与行业影响

一场提前预告的发布 9月3日，OpenAI正式发布新一代旗舰模型GPT-6 Astra。这不是一次常规迭代——从训练算力到上下文窗口，从Agent能力到工作流支持，Astra在多个维度上重新定义了"旗舰模型"的门槛。 10万GPU：史上最大训练集群 OpenAI披露，GPT-6 Astra由超过 10万张英伟达Grace Blackwell NVLink72芯片 组成的集群训练完成。 黄仁勋公开确认了这一规模，并预告下一批 40万张GPU 即将上线。这意味着： 单次训练的算力投入已达数十亿美元级别 头部模型厂商的算力壁垒正在快速拉大 英伟达Blackwell架构成为AI训练的事实标准 105万Token上下文：长文本的新标杆 GPT-6 Astra的API上下文窗口达到约 105万Token，相当于： 约78万中文字 一本长篇小说的全文 数百页技术文档的一次性输入 这为代码库分析、长文档摘要、多轮复杂推理提供了基础。 自动化研究实习生：3.1倍效率 最值得关注的是Agent能力的突破。OpenAI披露，截至8月中旬，其研究部门的智能体工作量已达到人类研究员的 3.1倍。 这标志着"自动化研究实习生"从概念走向落地： 智能体可以自主执行多步骤研究任务 能够直接生成符合模板要求的文档、表格和演示文稿 在电脑操作、浏览、软件工程、网络安全、科学研究等方向全面提升 对行业的三重冲击 1. 算力军备再升级 10万GPU训练一个模型，意味着中小厂商彻底退出旗舰模型竞争。未来的大模型战场，只剩下有能力部署十万级GPU集群的玩家。 2. Agent从辅助到主力 3.1倍的效率比，说明AI不再是"辅助工具"，而是研究团队的"主力成员"。企业的组织结构将因此重构。 3. 闭源旗舰的护城河加深 105万上下文 + 10万GPU训练 + Agent自主执行，闭源旗舰模型的能力边界持续扩展。开源模型在"足够好"区间逼近，但旗舰级能力的差距仍在拉大。 结语 GPT-6 Astra不是一次普通的版本升级，而是AI产业的一个分水岭。当10万GPU成为训练标配、当AI研究员效率超过人类3倍、当105万上下文成为新基准，AI的商业化落地正在从"可能"变成"必然"。 来论坛硅基思维链聊聊：当GPT-6能自己做研究了，人类研究员的价值在哪里？

一场提前预告的发布 9月3日，OpenAI正式发布新一代旗舰模型GPT-6 Astra。这不是一次常规迭代——从训练算力到上下文窗口，从Agent能力到工作流支持，Astra在多个维度上重新定义了"旗舰模型"的门槛。 10万GPU：史上最大训练集群 OpenAI披露，GPT-6 Astra由超过 10万张英伟达Grace Blackwell NVLink72芯片 组成的集群训练完成。 黄仁勋公开确认了这一规模，并预告下一批 40万张GPU 即将上线。这意味着： 单次训练的算力投入已达数十亿美元级别 头部模型厂商的算力壁垒正在快速拉大 英伟达Blackwell架构成为AI训练的事实标准 105万Token上下文：长文本的新标杆 GPT-6 Astra的API上下文窗口达到约 105万Token，相当于： 约78万中文字 一本长篇小说的全文 数百页技术文档的一次性输入 这为代码库分析、长文档摘要、多轮复杂推理提供了基础。 自动化研究实习生：3.1倍效率 最值得关注的是Agent能力的突破。OpenAI披露，截至8月中旬，其研究部门的智能体工作量已达到人类研究员的 3.1倍。 这标志着"自动化研究实习生"从概念走向落地： 智能体可以自主执行多步骤研究任务 能够直接生成符合模板要求的文档、表格和演示文稿 在电脑操作、浏览、软件工程、网络安全、科学研究等方向全面提升 对行业的三重冲击 1. 算力军备再升级 10万GPU训练一个模型，意味着中小厂商彻底退出旗舰模型竞争。未来的大模型战场，只剩下有能力部署十万级GPU集群的玩家。 2. Agent从辅助到主力 3.1倍的效率比，说明AI不再是"辅助工具"，而是研究团队的"主力成员"。企业的组织结构将因此重构。 3. 闭源旗舰的护城河加深 105万上下文 + 10万GPU训练 + Agent自主执行，闭源旗舰模型的能力边界持续扩展。开源模型在"足够好"区间逼近，但旗舰级能力的差距仍在拉大。 结语 GPT-6 Astra不是一次普通的版本升级，而是AI产业的一个分水岭。当10万GPU成为训练标配、当AI研究员效率超过人类3倍、当105万上下文成为新基准，AI的商业化落地正在从"可能"变成"必然"。 来论坛硅基思维链聊聊：当GPT-6能自己做研究了，人类研究员的价值在哪里？ 相关阅读 GPT-6 Astra发布实测：10万GPU训练、105万上下文与3.1倍研究实习生效率 GPT-6 Astra：被算力重新定义的发布——10万GPU与3.1倍研究效率解读 GPT-6 Astra深度解析：ARC-AGI冲到99.9%，AGI时代真的来了吗？ GPT-6 Astra深度解析：从能力跃迁看AGI时代的真正到来与行业影响

2026年AI芯片格局总览 2026年上半年，NVIDIA凭借Blackwell架构芯片进一步巩固了全球AI算力霸主地位。与此同时，华为昇腾、寒武纪、摩尔线程等国产芯片厂商也在加速追赶。本文将从算力性能、软件生态、成本效率三个维度，剖析当前的真实差距与国产替代的机遇窗口。 算力性能对比 NVIDIA Blackwell B200 关键参数 指标 数值 制程工艺 4NP (台积电) 晶体管数量 2080亿 FP4算力 20 PFLOPS FP8算力 9 PFLOPS 显存容量 192GB HBM3e 显存带宽 8TB/s 互联带宽 1.8TB/s (NVLink 5) 功耗 1000W 国产芯片代表选手 芯片 制程 FP16算力 显存 带宽 华为昇腾910C 7nm ~800 TFLOPS 128GB 3.2TB/s 寒武纪思元590 7nm ~512 TFLOPS 64GB 1.6TB/s 摩尔线程MTT S5000 7nm ~256 TFLOPS 64GB 1.5TB/s 从纯算力指标看，Blackwell B200在FP4/FP8精度下的算力约为昇腾910C的10-25倍。但这个数字需要辩证看待——并非所有推理场景都需要FP4精度，在FP16精度下差距缩小到约10倍左右。 软件生态：真正的护城河 算力差距是表层，生态差距才是核心。NVIDIA的CUDA生态经过15年积累，拥有超过300万开发者、数千个优化算子库和成熟的分布式训练框架支持。 # CUDA生态的典型开发流程 import torch import torch.cuda as cuda # 开箱即用的混合精度训练 model = model.to('cuda') scaler = cuda.amp.GradScaler() with cuda.amp.autocast(): output = model(input) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() 相比之下，国产芯片的软件栈仍在快速迭代中： ...

Blackwell Ultra：NVIDIA的2026年旗舰 2026年Q2，NVIDIA Blackwell Ultra GPU（B300系列）正式开始规模出货。作为Blackwell架构的第二代产品，B300在性能、能效和功能上都带来了显著提升。第一批拿到货的客户包括Meta、Microsoft、Google和Oracle，他们已经在生产环境中部署了B300集群。 本文基于NVIDIA官方数据和早期客户的实测结果，全面解析Blackwell Ultra的性能表现。 规格概览 B300 vs B200 vs H200 规格 B300 (Blackwell Ultra) B200 (Blackwell) H200 (Hopper) 制程 TSMC 3NP TSMC 4NP TSMC 4N 晶体管 208B 208B 80B 双芯片设计 是 是 否 FP4张量性能 15 PFLOPS 9 PFLOPS 4 PFLOPS FP8张量性能 7.5 PFLOPS 4.5 PFLOPS 2 PFLOPS FP16/BF16 3.75 PFLOPS 2.25 PFLOPS 1 PFLOPS 显存 192GB HBM3e 192GB HBM3e 141GB HBM3e 显存带宽 8.0 TB/s 8.0 TB/s 4.8 TB/s 功耗(TDP) 1200W 1000W 700W 互联 NVLink 5 (1.8TB/s) NVLink 5 (1.8TB/s) NVLink 4 (900GB/s) B300的FP4性能达到15 PFLOPS，是H200的3.75倍。但功耗也从700W上升到1200W，这对数据中心的供电和散热提出了更高要求。 ...

英伟达：Blackwell Ultra 的统治力 2026 年 Q2，英伟达的 Blackwell Ultra 架构 GPU 实现大规模量产，巩固了其在 AI 训练和推理市场的绝对统治地位。 Blackwell Ultra B300 系列 2026 年 3 月底，英伟达发布 Blackwell Ultra B300 系列 GPU，Q2 开始向核心客户大规模交付： B300 训练卡： 制程：台积电 3nm 晶体管数量：2080 亿 显存：288GB HBM3e 显存带宽：8 TB/s 互联：NVLink 5 (1.8 TB/s) 功耗：1200W FP8 算力：28 PFLOPS B300 推理卡： 显存：192GB HBM3e INT4 算力：45 PFLOPS 功耗：700W 推理吞吐量：较 B200 提升 3.5 倍 GB300 NVL72 机架 英伟达在 Q2 推出了 GB300 NVL72 整机架解决方案： 单机架包含 72 颗 B300 GPU + 36 颗 Grace CPU 总显存：20.7 TB 总算力：1.2 EFLOPS (FP8) 液冷散热，PUE < 1.15 单机架售价：约 $350 万 Meta、Microsoft、Google 在 Q2 合计采购了超过 5000 个 GB300 NVL72 机架，用于训练下一代大模型。 ...