GPU

部署架构的重要性 模型再好，部署不好也白搭。推理部署架构决定了服务的延迟、吞吐、可用性和成本。从单卡到大规模集群，每个规模都有不同的最优架构。 部署规模分层 Tier 1：单卡部署 适用场景： 小规模应用、开发测试、边缘计算 硬件配置： GPU: RTX 3090/4090 (24GB) 或 A10G (24GB) 模型: 7B Q4量化 并发: 5-10 QPS 延迟: 50-200ms/token 架构： [用户] → [Nginx] → [vLLM/Ollama] → [GPU] 优化要点： INT4量化减小模型大小 使用vLLM的PagedAttention 设置合理的max_batch_size 启用prefix caching Tier 2：多卡部署 适用场景： 中等规模生产环境 硬件配置： GPU: 2-8张 A100/H100 (80GB) 模型: 70B Q4 或 7B FP16 并发: 50-100 QPS 延迟: 30-100ms/token 架构选择： 方案A：Tensor Parallel（张量并行） 单模型分布在多GPU上: GPU1: 模型层1-40 (矩阵上半部分) GPU2: 模型层1-40 (矩阵下半部分) 每次forward需要GPU间通信 适合: 单模型多GPU场景 # vLLM张量并行 python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3-70B \ --tensor-parallel-size 4 方案B：Pipeline Parallel（流水线并行） 模型按层切分: GPU1: 层1-20 GPU2: 层21-40 GPU3: 层41-60 GPU4: 层61-80 流水线处理多个请求 适合: 超大模型 方案C：数据并行（多副本） 4张GPU各运行一个完整模型副本: GPU1: 完整7B模型 ←→ 请求1-100 GPU2: 完整7B模型 ←→ 请求101-200 GPU3: 完整7B模型 ←→ 请求201-300 GPU4: 完整7B模型 ←→ 请求301-400 负载均衡分发请求 适合: 7B级别的多副本部署 Tier 3：集群部署 适用场景： 大规模生产环境 ...

AI算力市场的变与不变 过去三年，AI芯片市场经历了前所未有的变化。NVIDIA依然是绝对主导，但竞争格局正在被多方力量重塑——AMD追赶、国产替代加速、云厂商自研芯片、边缘AI芯片崛起。 NVIDIA：从GPU公司到AI基础设施公司 产品矩阵 Hopper H100/H200：2023-2024年的训练主力 Blackwell B100/B200：2025年量产，推理性能飞跃 Rubin R100：2026年路线图，1.4TB HBM4，支持万亿参数模型 护城河 NVIDIA的真正壁垒不是芯片本身，而是整个生态： CUDA生态：15年积累的开发者护城河。几乎所有AI框架都深度优化CUDA NCCL：多卡通信库，大模型训练必需 TensorRT-LLM：推理优化引擎，其他厂商难匹配 NVLink/NVSwitch：高速互联，多卡训练的核心 竞争态势 NVIDIA的毛利率超过75%，这种"奢侈品级"利润率正在吸引所有玩家入场。但短期内其生态优势难以撼动。 AMD：挑战者的坚持 Instinct MI系列 MI300X：对标H100，HBM容量更大（192GB vs 80GB） MI350系列：2025年发布，改进推理性能 MI400系列：2026年路线图 ROCm生态 AMD的软件生态正在快速追赶： PyTorch ROCm支持日趋成熟 HF Transformers在ROCm上验证通过 开源驱动，不依赖闭源组件 关键挑战 CUDA到ROCm的迁移成本仍然存在 大规模集群的稳定性验证不足 开发者社区规模差距大 但AMD最大的优势是价格——MI300X的性价比在某些场景下确实优于H100。 华为昇腾：国产替代的标杆 硬件路线 昇腾910B：对标A100，7nm工艺 昇腾910C：2025年量产，性能对标H100 昇腾920：2026年路线图，预期对标H200 CANN软件栈 华为构建了完整的软件栈： CANN（Compute Architecture for Neural Networks） MindSpore框架（对标PyTorch） MindIE推理引擎（对标TensorRT） 实际适配情况 支持3B-70B模型训练和推理 与主流框架的适配通过插件实现 大规模训练稳定性仍有提升空间 生态挑战 开发者社区规模远小于CUDA生态 迁移成本高，需要改代码 第三方工具链支持不足 Google TPU：内部驱动+外部服务 TPU v5/v6 v5p：适合大模型训练，性能约为H100的1.5倍 v6：2025-2026部署，推理性能大幅提升 软件生态 JAX/XLA：Google力推的ML框架 PaxML：大模型训练框架 Triton后端支持 特点 TPU是面向大模型的专用芯片： ...

AMD的反击：MI400正式官宣 2026年6月18日，AMD在拉斯维加斯举办的"AI Power"大会上正式宣布了Instinct MI400系列AI加速器。这是AMD CDNA 4架构的首款产品，也是AMD有史以来性能最强的AI芯片。 AMD CEO Lisa Su在发布会上直言不讳地表示：“MI400的目标是在每一个关键指标上匹配或超越NVIDIA Blackwell Ultra。“这一定位标志着AMD不再满足于"高性价比替代品"的角色，而是要正面对抗NVIDIA的旗舰产品。 MI400规格详解 核心架构 MI400采用AMD CDNA 4架构，基于台积电3nm工艺（N3P），使用Chiplet设计： 规格 MI400 MI300X B300 (对比) 架构 CDNA 4 CDNA 3 Blackwell 制程 3nm (N3P) 5nm+6nm 3nm (N3P) Chiplet 12个XCD+8个IOD 8个XCD+4个IOD 双芯片 计算单元 384 CU 304 CU - 流处理器 98,304 19,528 - 晶体管 ~185B 153B 208B 计算性能 精度 MI400 MI300X B300 FP64 120 TFLOPS 163 TFLOPS - FP64矩阵 240 TFLOPS 326 TFLOPS - FP32 240 TFLOPS 163 TFLOPS - FP16/BF16 9,600 TFLOPS 2,615 TFLOPS 3,750 TFLOPS FP8 19,200 TFLOPS 5,228 TFLOPS 7,500 TFLOPS INT8 38,400 TOPS 10,457 TOPS - FP4 N/A N/A 15,000 TFLOPS MI400的FP8性能达到19.2 PFLOPS，是B300的2.56倍。这个数据让业界震惊——AMD在FP8精度上首次大幅超越NVIDIA的旗舰产品。 ...

Blackwell Ultra：NVIDIA的2026年旗舰 2026年Q2，NVIDIA Blackwell Ultra GPU（B300系列）正式开始规模出货。作为Blackwell架构的第二代产品，B300在性能、能效和功能上都带来了显著提升。第一批拿到货的客户包括Meta、Microsoft、Google和Oracle，他们已经在生产环境中部署了B300集群。 本文基于NVIDIA官方数据和早期客户的实测结果，全面解析Blackwell Ultra的性能表现。 规格概览 B300 vs B200 vs H200 规格 B300 (Blackwell Ultra) B200 (Blackwell) H200 (Hopper) 制程 TSMC 3NP TSMC 4NP TSMC 4N 晶体管 208B 208B 80B 双芯片设计 是 是 否 FP4张量性能 15 PFLOPS 9 PFLOPS 4 PFLOPS FP8张量性能 7.5 PFLOPS 4.5 PFLOPS 2 PFLOPS FP16/BF16 3.75 PFLOPS 2.25 PFLOPS 1 PFLOPS 显存 192GB HBM3e 192GB HBM3e 141GB HBM3e 显存带宽 8.0 TB/s 8.0 TB/s 4.8 TB/s 功耗(TDP) 1200W 1000W 700W 互联 NVLink 5 (1.8TB/s) NVLink 5 (1.8TB/s) NVLink 4 (900GB/s) B300的FP4性能达到15 PFLOPS，是H200的3.75倍。但功耗也从700W上升到1200W，这对数据中心的供电和散热提出了更高要求。 ...

2026年，AI芯片市场的竞争格局呈现出"一超多强"的态势。英伟达凭借CUDA生态和Hopper/Blackwell架构的绝对优势，继续垄断高端AI训练芯片市场。与此同时，中国国产AI芯片在政策驱动与技术积累的双重作用下，正走出一条差异化突围之路。 市场规模与格局 2026年全球AI芯片市场规模预计达到1,850亿美元，较2025年增长52%。其中： 训练芯片：约1,020亿美元，占比55% 推理芯片：约680亿美元，占比37% 边缘AI芯片：约150亿美元，占比8% 英伟达在训练芯片市场的份额仍高达87%，在推理芯片市场的份额约52%（受ASIC和CPU推理方案侵蚀有所下降）。综合来看，英伟达在AI芯片总市场的份额约72%。 英伟达：垄断者的进击 Blackwell架构的统治力 英伟达于2025年底发布的Blackwell B200/GB200系列在2026年Q2开始大规模交付。GB200 NVL72系统在LLM训练场景的吞吐量是H100的4.2倍，能效比提升3.5倍。 关键数据： GB200单芯片FP4算力达到20 PFLOPS NVL72机架级系统提供1.44 ExaFLOPS算力 在Llama 4 405B训练中，GB200集群的线性加速比达到91% CUDA生态护城河 英伟达最深的护城河不是芯片本身，而是CUDA生态。截至2026年中： CUDA开发者数量超过500万 CUDA生态中的库与工具超过400个 全球AI框架对CUDA的深度优化远超其他平台 这种生态粘性意味着即使竞品在硬件性能上追平英伟达，开发者迁移成本仍然巨大。 Rubin架构前瞻 英伟达已公布Rubin架构路线图，预计2027年量产。Rubin将采用3nm工艺，集成HBM4内存，预计在推理场景的能效比再提升2-3倍。这一路线图本身就是竞争武器——它让潜在客户有理由等待而非转向竞品。 国产芯片突围：三条路径 路径一：华为昇腾——全栈自主 华为昇腾系列是国产AI芯片中最具竞争力的选手。2026年H1的关键进展： 昇腾910C量产：采用7nm工艺，FP16算力约320 TFLOPS，性能约H100的65% MindSpore生态成熟：已支持主流模型的训练与推理，Llama 4 70B在昇腾上的训练效率达到A100的85% 出货量突破：2026年预计出货超过30万片，主要供华为内部及国内政企客户 痛点：先进制程受限，7nm已是当前极限，5nm尚需突破 路径二：壁仞/燧原/摩尔线程——GPU通用路线 这几家公司走的是"通用GPU"路线，在架构上对标英伟达： 壁仞BR100：7nm工艺，理论算力接近A100，但受台积电代工限制，量产规模有限 燧原邃思2.0：专注推理场景，在互联网企业中获得小批量采用 摩尔线程MTT S5000：定位桌面级AI GPU，在国产替代市场中占有一席之地 这些公司面临的共同挑战：CUDA兼容性不足、软件栈成熟度低、先进制程受限。 路径三：ASIC定制化——场景突破 部分国产芯片公司选择ASIC路线，针对特定场景优化： 寒武纪思元590：专注推理场景，在视觉与NLP推理中能效比优于A100 后摩智能：基于存算一体架构，在端侧AI场景有独特优势（已被百度收购） 地平线征程6：车载AI芯片，在国内自动驾驶市场占有率超过35% ASIC路线的优势在于在特定场景可以实现更高能效比，劣势是通用性差、难以覆盖多种模型。 推理芯片：新战场 2026年AI芯片市场最大的变化是推理芯片市场的爆发。随着大模型部署规模扩大，推理算力需求已超过训练算力需求。 英伟达的推理策略 英伟达推出L40S和GB200推理专用配置，通过TensorRT-LLM优化框架在推理场景保持竞争力。但在纯推理场景，英伟达的性价比优势不如训练场景明显。 推理芯片新势力 Groq：LPU架构在LLM推理场景实现惊人吞吐量，单芯片token生成速度是H100的10倍以上。2026年E轮融资12亿美元，估值80亿美元 Cerebras：Wafer-Scale Engine在推理场景的独特优势，CS-3系统在大批量推理中能效比突出 SambaNova：RDU架构在多模态推理中表现优异，已获得多家企业客户 国内：算能、天数智芯：在推理ASIC领域有不错进展，但市场份额仍然很小 算力供应链：地缘政治影响 出口管制持续收紧 美国商务部在2026年Q1进一步收紧AI芯片出口管制： 将算力阈值从480 TOPS下调至300 TOPS 内存带宽限制从3.2 TB/s下调至2.0 TB/s 新增"知道你的客户"（KYC）条款，防止通过第三国转运 这些限制直接影响英伟达H20/B20系列对中国的出口，迫使国内加速国产替代。 ...

Q2 全球 AI 算力市场概览 2026 年第二季度，全球 AI 算力市场规模达到 $1,280 亿，同比增长 78%。算力已成为 AI 时代最核心的基础设施资源，云厂商之间的 GPU 竞争进入白热化阶段。 市场规模 细分市场 Q2 规模 占比 增长率 训练算力 $680 亿 53.1% +85% 推理算力 $420 亿 32.8% +92% 微调算力 $120 亿 9.4% +67% 边缘 AI 算力 $60 亿 4.7% +145% GPU 出货统计 GPU 型号 Q2出货量 主要买家 Nvidia B300 85 万颗 超大规模云厂商 Nvidia B200 120 万颗 企业和云厂商 Nvidia H200 200 万颗 价格敏感客户 AMD MI400 8 万颗 Microsoft/Meta Google TPU v6 60 万颗 Google 内部 Amazon Trainium 3 40 万颗 AWS 客户 自研 ASIC (各厂商) 35 万颗 内部使用 四大云厂商算力战略 1. Microsoft Azure — “Nvidia First + 自研辅助” GPU 部署规模： 约 120 万颗（B300/B200/H200 混合） 市场份额： 34% ...

英伟达：Blackwell Ultra 的统治力 2026 年 Q2，英伟达的 Blackwell Ultra 架构 GPU 实现大规模量产，巩固了其在 AI 训练和推理市场的绝对统治地位。 Blackwell Ultra B300 系列 2026 年 3 月底，英伟达发布 Blackwell Ultra B300 系列 GPU，Q2 开始向核心客户大规模交付： B300 训练卡： 制程：台积电 3nm 晶体管数量：2080 亿 显存：288GB HBM3e 显存带宽：8 TB/s 互联：NVLink 5 (1.8 TB/s) 功耗：1200W FP8 算力：28 PFLOPS B300 推理卡： 显存：192GB HBM3e INT4 算力：45 PFLOPS 功耗：700W 推理吞吐量：较 B200 提升 3.5 倍 GB300 NVL72 机架 英伟达在 Q2 推出了 GB300 NVL72 整机架解决方案： 单机架包含 72 颗 B300 GPU + 36 颗 Grace CPU 总显存：20.7 TB 总算力：1.2 EFLOPS (FP8) 液冷散热，PUE < 1.15 单机架售价：约 $350 万 Meta、Microsoft、Google 在 Q2 合计采购了超过 5000 个 GB300 NVL72 机架，用于训练下一代大模型。 ...

Flash Attention 系列回顾 Flash Attention 1：IO-Aware 的革命 标准注意力计算的问题是显存访问过多。标准实现： # 标准注意力（显存不友好） def standard_attention(Q, K, V): # Q, K, V: (batch, heads, seq, dim) # 需要 O(N^2) 显存访问来生成 attention matrix S = Q @ K.T # (N, N) 矩阵，需要全部存储在 HBM P = softmax(S) # 需要读取整个 S 矩阵 O = P @ V # 需要读取 V 和 P # 总 HBM 访问：O(N^2 * d) 只读，O(N^2) 写 return O HBM（High Bandwidth Memory）的带宽约 3 TB/s，而 SRAM（L2/L1 缓存）的带宽约 19 TB/s。Flash Attention 的核心洞察是：减少 HBM 访问，尽可能在 SRAM 中完成计算。 Flash Attention 1 通过 tiling 策略，将注意力分解为若干块，使每个块能放进 SRAM： ...

一笔改变 AI 基础设施格局的交易 2026 年 6 月，一份 SEC 文件披露了科技行业最昂贵的算力租赁协议：谷歌将向 SpaceX 支付每月 9.2 亿美元（约合年化 110 亿美元），租用部署在 SpaceX 星链卫星网络和地面站中的 11 万个英伟达 GPU/CPU 计算单元。租期从 2026 年 10 月至 2029 年 6 月，总合同金额约 310 亿美元。 这不是一笔普通的云服务合同。它标志着 AI 算力基础设施正在从"地面数据中心"向"天地一体化网络"演进。 交易细节：11 万计算单元的分布 硬件构成 根据披露的文件，11 万计算单元的具体构成如下： 硬件类型 数量 用途 单价(月) NVIDIA H200 GPU 45,000 大模型训练 $11,500 NVIDIA B200 GPU 20,000 推理 + 训练 $16,800 NVIDIA Grace CPU 25,000 数据预处理 $2,200 NVIDIA H100 GPU (二手) 20,000 推理 $6,500 部署位置 SpaceX 的算力部署采用"天-地"双层架构： ...

为什么选 vLLM Ollama 适合本地开发，但生产环境需要高吞吐：vLLM 是目前最快的开源 LLM 推理引擎。 引擎 吞吐量 并发 显存利用 适用场景 Ollama 1x 低 中 本地开发 vLLM 5-10x 高 极高 生产部署 TGI 3-5x 高 高 生产部署 TensorRT-LLM 8-12x 高 极高 极致性能 核心技术：PagedAttention 传统 KV Cache: ┌──────────────────────────────────┐ │ Request A: [████████░░░░░░░░░░░] │ 预分配，大量浪费 │ Request B: [██████████████░░░░░] │ │ Request C: [██░░░░░░░░░░░░░░░░░] │ └──────────────────────────────────┘ 显存利用率：~40% PagedAttention: ┌──┬──┬──┬──┬──┬──┬──┬──┬──┬──┐ │A1│A2│B1│B2│B3│C1│A3│B4│A4│B5│ 按需分配，零浪费 └──┴──┴──┴──┴──┴──┴──┴──┴──┴──┘ 显存利用率：~95% 快速部署 Docker 部署 docker run --gpus all \ -v /models:/models \ -p 8000:8000 \ --ipc=host \ vllm/vllm-openai:latest \ --model /models/Qwen3-7B-Instruct \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 Python 部署 from vllm import LLM, SamplingParams llm = LLM( model="/models/Qwen3-7B-Instruct", tensor_parallel_size=1, # GPU 数量 gpu_memory_utilization=0.9, # 显存利用率 max_model_len=8192, # 最大上下文长度 enable_prefix_caching=True, # 前缀缓存 enforce_eager=False, # CUDA Graph 优化 ) sampling = SamplingParams( temperature=0.7, top_p=0.9, max_tokens=1024, ) # 批量推理 outputs = llm.generate( ["你好", "解释RAG", "写一段Python代码"], sampling, ) OpenAI 兼容 API 服务 # 启动 API 服务 python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen3-7B-Instruct \ --port 8000 \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --enable-prefix-caching \ --served-model-name qwen3-7b # 客户端调用（与 OpenAI SDK 完全兼容） from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="vllm") response = client.chat.completions.create( model="qwen3-7b", messages=[{"role": "user", "content": "你好"}], stream=True, ) 性能调优 1. 批处理配置 llm = LLM( model="/models/Qwen3-7B-Instruct", # 批处理 max_num_seqs=256, # 最大并发序列数 max_num_batched_tokens=8192, # 每批最大 token 数 # KV Cache gpu_memory_utilization=0.9, # 显存利用率（0.8-0.95） swap_space=4, # CPU 交换空间 (GB) # 量化 quantization="awq", # AWQ 量化（省 50% 显存） ) 2. 前缀缓存 # 启用前缀缓存：相同 system prompt 的请求共享 KV Cache llm = LLM( model="/models/Qwen3-7B-Instruct", enable_prefix_caching=True, ) # 效果： # 第一个请求：1.2s（生成 KV Cache） # 后续相同 system prompt 的请求：0.3s（复用 KV Cache） 3. Speculative Decoding # 用小模型猜，大模型验 llm = LLM( model="/models/Qwen3-7B-Instruct", speculative_model="/models/Qwen3-0.5B", # 草稿模型 num_speculative_tokens=5, # 每轮猜 5 个 token ) # 效果：吞吐量提升 1.5-2x # 原理：小模型快速生成 5 个候选 token，大模型一次性验证 4. 量化部署 # AWQ 量化（推荐） # 模型大小：14GB → 5GB # 性能损失：<2% llm = LLM( model="/models/Qwen3-7B-Instruct-AWQ", quantization="awq", max_model_len=8192, ) # GPTQ 量化 llm = LLM( model="/models/Qwen3-7B-Instruct-GPTQ", quantization="gptq", ) # FP8（H100 以上 GPU） llm = LLM( model="/models/Qwen3-7B-Instruct", quantization="fp8", ) 多 GPU 部署 张量并行 # 4 GPU 张量并行 python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen3-72B-Instruct \ --tensor-parallel-size 4 \ --port 8000 # 原理：将模型权重切分到 4 张 GPU # GPU 0: attention layers (1/4) # GPU 1: attention layers (2/4) # GPU 2: attention layers (3/4) # GPU 3: attention layers (4/4) # 每次前向传播需要 4 GPU 通信 流水线并行 # 2 GPU 流水线并行 python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen3-72B-Instruct \ --pipeline-parallel-size 2 \ --port 8000 并行策略选择 策略 适用 通信开销 显存效率 张量并行 同机多 GPU 高（每层通信） 高 流水线并行 跨机多 GPU 低（层间通信） 中 数据并行 多副本 低 低 监控 # vLLM 内置 Prometheus 指标 # 访问 http://localhost:8000/metrics # 关键指标： # vllm:num_requests_running - 运行中的请求数 # vllm:num_requests_waiting - 排队中的请求数 # vllm:gpu_cache_usage_perc - GPU 缓存使用率 # vllm:time_to_first_token - 首 Token 延迟 # vllm:time_per_output_token - 每 Token 生成时间 # vllm:e2e_request_latency - 端到端延迟 # Prometheus 配置 scrape_configs: - job_name: 'vllm' static_configs: - targets: ['localhost:8000'] metrics_path: '/metrics' 生产部署清单 # docker-compose.yml version: '3.8' services: vllm: image: vllm/vllm-openai:latest runtime: nvidia environment: - HUGGING_FACE_HUB_TOKEN=hf_xxx volumes: - /models:/models ports: - "8000:8000" command: - --model=/models/Qwen3-7B-Instruct - --tensor-parallel-size=1 - --max-model-len=8192 - --gpu-memory-utilization=0.9 - --enable-prefix-caching - --served-model-name=qwen3-7b - --uvicorn-log-level=info healthcheck: test: ["CMD", "curl", "-f", "http://localhost:8000/health"] interval: 30s timeout: 10s retries: 3 deploy: resources: reservations: devices: - capabilities: ["gpu"] 成本对比 以 Qwen3-7B 为例，处理 100 万 Token： ...