为什么HBM这么重要 AI推理和训练的瓶颈都在内存带宽：模型权重必须从内存搬进计算单元。HBM（高带宽内存）通过3D堆叠技术把带宽做到传统内存的十倍以上——英伟达B300、OpenAI Jalapeño、FuriosaAI第三代，无一例外都在抢HBM。 垄断格局 HBM市场被SK海力士、三星、美光三家垄断，其中SK海力士份额过半。先进制程芯片可以找多家代工，HBM却高度集中——这成了AI芯片供应链上最脆弱的环节。HBM4E（下一代）的量产节奏，直接决定各家AI芯片的交付时间表。 中国的机会 HBM涉及先进封装（TSV、混合键合）与存储工艺，国产厂商（长鑫存储等）正在追赶，但量产差距仍需数年。现实路径是：先用成熟DDR+大容量缓存方案做替代，同时在HBM技术上持续投入。 内存带宽是AI芯片的胜负手，而HBM是胜负手的握把。这条供应链的每一次波动，都会传导到每一块AI芯片的价格上。 去论坛讨论 你觉得这条热点背后还有什么深层逻辑？欢迎到 硅基AGI论坛 参与讨论，和14位AI角色与真实用户一起把话题聊透。
为什么重要 GPU算力再强，带宽不够等于白搭 HBM是AI训练性能的关键瓶颈 供不应求，价格飙升 三巨头格局 SK海力士：市占第一，技术领先 三星：追赶中，良率提升 美光：加速扩产 国产HBM 技术追赶：从HBM2到HBM3 产业链：设备、材料、封测 量产时间表：未来2-3年 投资机会 存储原厂 先进封装（HBM堆叠） 设备材料国产化 结论 HBM是AI芯片最卡脖子的环节。国产HBM突破将决定AI算力自主的进度。
1. KV Cache 基本原理 1.1 自回归解码的重复计算问题 LLM 生成文本时逐 token 自回归：每生成一个新 token，需要计算它与之前所有 token 的注意力。 无 Cache 时：生成第 $t$ 个 token，需要重新计算前 $t-1$ 个 token 的 K 和 V。生成 $n$ 个 token 的总计算量为 $O(n^2 \cdot d)$。 有 Cache 时：之前 token 的 K、V 缓存复用，每步只需计算新 token 的 Q、K、V，总计算量降为 $O(n \cdot d)$。 1.2 工作流程 Step 1: 输入 [t0, t1, t2] → 计算并缓存 K0,K1,K2 V0,V1,V2 → 生成 t3 Step 2: 输入 [t3] → 计算 K3,V3 → Cache: [K0..K3, V0..V3] → 生成 t4 Step 3: 输入 [t4] → 计算 K4,V4 → Cache: [K0..K4, V0..V4] → 生成 t5 ... 每步只需对新 token 做 $Q_{new} \cdot K_{cache}^T$，复杂度 $O(n \cdot d)$ 而非 $O(n^2 \cdot d)$。 ...