Mamba

为什么标准注意力是瓶颈？ Transformer的核心——自注意力机制，其计算复杂度是序列长度的二次方 O(n²)。这个n²使得处理长序列时的计算和内存开销急剧增长。 标准注意力的计算过程 import torch import torch.nn.functional as F import math def standard_attention(Q, K, V): """ 标准自注意力 Q, K, V: (batch, num_heads, seq_len, d_head) """ d = Q.shape[-1] # 注意力分数: (batch, heads, seq, seq) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d) # Softmax归一化 attn = F.softmax(scores, dim=-1) # 加权求和 output = torch.matmul(attn, V) # (batch, heads, seq, d_head) return output # 计算复杂度分析 # scores矩阵大小: seq_len × seq_len # 当 seq_len = 8192 时, 每个head的scores矩阵 = 8192² = 67M 个元素 # 当 seq_len = 32768 时, 每个head的scores矩阵 = 32768² = 1B 个元素 # 显存随序列长度平方增长！ 不同序列长度的开销对比 序列长度 注意力矩阵大小 显存(FP16, 32头) 计算量(FLOPs) 4K 16M 1GB 0.13T 8K 64M 4GB 0.52T 32K 1B 64GB 8.4T 128K 16B 1TB 134T 1M 1T 64TB 8.2PT 这个表格清楚地展示了为什么标准注意力无法扩展到超长序列。 ...

引言：Transformer 的统治与挑战 自 2017 年 Google 提出 Transformer 架构以来，它已经统治了自然语言处理乃至整个深度学习领域长达九年。然而到了 2026 年，随着模型规模扩展到万亿参数、上下文窗口增长到百万 Token，原始 Transformer 架构的局限性日益凸显：注意力机制的 $O(n^2)$ 复杂度、推理时 KV Cache 的巨大内存开销、以及训练算力墙的逼近，都在倒逼架构创新。 本文将系统梳理 2026 年 Transformer 架构的三大演进方向：注意力机制优化、混合专家架构（MoE）的成熟、以及以 Mamba 为代表的状态空间模型（SSM）的崛起。 一、注意力机制的进化谱系 1.1 标准 Self-Attention 回顾 标准多头自注意力机制的核心计算为： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中 $Q \in \mathbb{R}^{n \times d_k}$, $K \in \mathbb{R}^{n \times d_k}$, $V \in \mathbb{R}^{n \times d_v}$。其计算复杂度为 $O(n^2 \cdot d)$，空间复杂度同样为 $O(n^2)$，这在长序列场景下成为瓶颈。 1.2 2026 年的注意力新范式 ┌─────────────────────────────────────────────────┐ │ 注意力机制演进谱系 (2026) │ ├─────────────────────────────────────────────────┤ │ │ │ Standard MHA ──► Multi-Query (MQA) │ │ │ │ │ │ │ ▼ │ │ │ Grouped-Query (GQA) │ │ │ │ │ │ │ ▼ │ │ ▼ Latent Attention │ │ Linear Attention │ │ │ │ │ │ ▼ ▼ │ │ Flash Attention 3 Ring Attention │ │ (GPU优化) (分布式) │ └─────────────────────────────────────────────────┘ Latent Attention（潜注意力） 是 2025-2026 年最重要的架构创新之一，由 DeepSeek V3 首先大规模验证。其核心思想是将 Key 和 Value 压缩到低秩潜在空间： ...

为什么我们需要超越 Transformer？ 自 2017 年 Transformer 问世以来，它几乎统治了所有序列建模任务。但 Transformer 有一个根本性缺陷：注意力机制的复杂度是 O(N²)，其中 N 是序列长度。当上下文窗口从 2K 扩展到 1M 时，计算和内存开销呈平方级增长。 序列长度 注意力矩阵大小 显存占用(近似) 2,048 4M ~16 MB 32,768 1B ~4 GB 131,072 17B ~68 GB 1,048,576 1T ~4 TB 这意味着：百万级 token 的上下文窗口在标准 Transformer 中几乎不可行，除非借助分布式注意力（如 Ring Attention）或近似方法。 研究者们提出了三类替代方案： 状态空间模型（SSM）：S4、S5、S6/Mamba 线性注意力/RNN 混合：RWKV、RetNet、Linear Attention 混合架构：Jamba（Mamba+Transformer）、Zamba 状态空间模型（SSM）：从 S4 到 Mamba SSM 的数学基础 状态空间模型源自控制理论，用一组隐状态 h(t) 来压缩历史信息： h'(t) = A·h(t) + B·x(t) # 状态方程 y(t) = C·h(t) + D·x(t) # 输出方程 离散化后变为递推形式： ...