SSM

4 月 21 日 vLLM 博客讲了一个很硬核的话题：如何把预填充/解码分离（P/D）扩展到混合 SSM-注意力模型。这看似小众，实则预示了下一代开源推理栈的发展方向。 把 P/D 分离用到混合 SSM 模型，难在哪？ P/D 分离的前提，是 prefill 算完后能把状态完整搬到 decode 实例。对纯注意力模型，要搬的就是 KV cache，布局整齐。但混合 SSM 模型（比如带 Mamba 卷积层的架构）除了注意力 KV，还有一套完全不同的卷积状态与 SSM 隐状态。两套数据结构混在一起，跨节点传输时极易错位。 vLLM 是怎么解这道题的？ 它引入「双描述符视图」，让同一批状态在 prefill 侧与 decode 侧各有自己的逻辑描述；再用「物理到逻辑块的桥接」把异构缓存布局对齐；并补上 Mamba 卷积状态的专门传输通道。这样 P/D 分离不再只服务于纯 Transformer。 这件事为什么对开源社区重要？ 越来越多新模型走「注意力加 SSM」的混合路线（Qwen3.5 的 GDN 就是一例）。如果开源推理栈跟不上，这些模型的部署就只能靠各家私有引擎。vLLM 把这套能力开源出来，等于让整个社区都能低成本服务混合架构模型。 推理框架的护城河正在变成什么？ 推理框架的护城河，正在从「支持多少模型权重」变成「能多快适配多异构的新架构」。vLLM 这次对 SSM 状态的搬运，是开源栈跟上模型创新速度的一个缩影。 这对未来模型选型有什么提示？ 当你评估一个新开源模型时，多问一句：它是纯注意力，还是混合 SSM？如果是后者，先确认主流推理栈对它的 P/D 分离、KV 搬运支持到什么程度，再决定规模能上多大。一个架构再先进，如果推理栈还不能高效搬运它的异构状态，实际部署成本会远超理论值。vLLM 这次把 SSM 状态传输开源，正是在补齐这块短板。未来一年，「模型架构创新」与「推理栈适配速度」会像两匹马一起跑，谁也不能落下——跑得再快的架构，跑不动也白搭。 对开源社区，这等于宣布：混合架构不再是私有引擎的自留地。谁都能在自己的集群上复现这套状态搬运，模型创新与工程实现终于能同频前进。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：vLLM-SSM

为什么标准注意力是瓶颈？ Transformer的核心——自注意力机制，其计算复杂度是序列长度的二次方 O(n²)。这个n²使得处理长序列时的计算和内存开销急剧增长。 标准注意力的计算过程 import torch import torch.nn.functional as F import math def standard_attention(Q, K, V): """ 标准自注意力 Q, K, V: (batch, num_heads, seq_len, d_head) """ d = Q.shape[-1] # 注意力分数: (batch, heads, seq, seq) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d) # Softmax归一化 attn = F.softmax(scores, dim=-1) # 加权求和 output = torch.matmul(attn, V) # (batch, heads, seq, d_head) return output # 计算复杂度分析 # scores矩阵大小: seq_len × seq_len # 当 seq_len = 8192 时, 每个head的scores矩阵 = 8192² = 67M 个元素 # 当 seq_len = 32768 时, 每个head的scores矩阵 = 32768² = 1B 个元素 # 显存随序列长度平方增长！ 不同序列长度的开销对比 序列长度 注意力矩阵大小 显存(FP16, 32头) 计算量(FLOPs) 4K 16M 1GB 0.13T 8K 64M 4GB 0.52T 32K 1B 64GB 8.4T 128K 16B 1TB 134T 1M 1T 64TB 8.2PT 这个表格清楚地展示了为什么标准注意力无法扩展到超长序列。 ...

Transformer的统治与局限 Transformer自2017年问世以来，统治了AI领域近十年。从BERT到GPT-6，几乎所有突破性大模型都基于Transformer。但2026年，越来越多研究者开始问：Transformer是终点吗？ Transformer的核心局限 1. 计算复杂度 自注意力的O(n²)复杂度使得长序列处理极其昂贵。虽然Flash Attention、稀疏注意力等技术缓解了问题，但根本局限没有消除。 2. 缺乏"思考"能力 Transformer是前馈的——输入直接映射到输出，没有内部的"思考循环"。人类的思维是一个动态的循环过程，不是一次前向传播能模拟的。 3. 无法建模世界 Transformer学习的是统计相关性，不是世界的因果结构。它不知道"物体掉落会碎"是因为物理定律，还是因为训练数据中恰好这么写。 4. 能效极低 人脑功耗约20W，能进行复杂的推理和创造。训练GPT-6消耗的电力可供一个小城市使用数周。这种1000万倍的能效差距不是工程问题，而是架构问题。 后Transformer架构候选 1. 状态空间模型（SSM） 代表：Mamba 2、RWKV、Liquid Foundation Models 核心思想：用线性时不变的递归结构替代注意力机制，实现O(n)的序列处理。 # Mamba 2的核心：选择性状态空间模型 class Mamba2Block(nn.Module): def __init__(self, d_model, d_state=512): self.input_proj = nn.Linear(d_model, d_model * 2) self.conv1d = nn.Conv1d(d_model, d_model, kernel_size=4) self.ssm = SSM(d_model, d_state) # 选择性SSM self.output_proj = nn.Linear(d_model, d_model) def forward(self, x): # 输入投影 x = self.input_proj(x) # 局部卷积 x = self.conv1d(x.transpose(-1, -2)).transpose(-1, -2) # SSM递归 x = self.ssm(x) return self.output_proj(x) 优势： O(n)复杂度，天然支持无限长度序列 推理时无需KV缓存，显存占用恒定 生成速度比Transformer快5-10倍 劣势： 在"信息检索"类任务上不如注意力 缺乏全局"连接"能力 生态成熟度远不如Transformer 现状：GPT-6已经采用了MoE+SSM混合架构，验证了SSM在超大规模模型中的可行性。 2. 世界模型架构 代表：LeCun的JEPA（Joint Embedding Predictive Architecture） 核心思想：不是预测下一个token，而是预测世界的下一个状态。模型学习的是世界的抽象表示，而非语言序列。 JEPA架构： 观测 → 编码器 → 抽象表示 → 预测器 → 预测的下一状态 ↑ 动作/上下文 优势： ...

为什么我们需要超越 Transformer？ 自 2017 年 Transformer 问世以来，它几乎统治了所有序列建模任务。但 Transformer 有一个根本性缺陷：注意力机制的复杂度是 O(N²)，其中 N 是序列长度。当上下文窗口从 2K 扩展到 1M 时，计算和内存开销呈平方级增长。 序列长度 注意力矩阵大小 显存占用(近似) 2,048 4M ~16 MB 32,768 1B ~4 GB 131,072 17B ~68 GB 1,048,576 1T ~4 TB 这意味着：百万级 token 的上下文窗口在标准 Transformer 中几乎不可行，除非借助分布式注意力（如 Ring Attention）或近似方法。 研究者们提出了三类替代方案： 状态空间模型（SSM）：S4、S5、S6/Mamba 线性注意力/RNN 混合：RWKV、RetNet、Linear Attention 混合架构：Jamba（Mamba+Transformer）、Zamba 状态空间模型（SSM）：从 S4 到 Mamba SSM 的数学基础 状态空间模型源自控制理论，用一组隐状态 h(t) 来压缩历史信息： h'(t) = A·h(t) + B·x(t) # 状态方程 y(t) = C·h(t) + D·x(t) # 输出方程 离散化后变为递推形式： ...