引言 自2017年Vaswani等人提出Transformer架构以来，这一基于自注意力机制的模型已经彻底改变了自然语言处理乃至整个AI领域的格局。到了2026年，Transformer架构经历了多次重大演进：从最初的标准注意力，到Flash Attention的工程优化，再到线性注意力、混合专家（MoE）架构的广泛采用。本文将系统梳理这些技术演进的核心脉络。
标准注意力机制回顾 Transformer的核心是Scaled Dot-Product Attention：
$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$
其中 $Q \in \mathbb{R}^{n \times d_k}$，$K \in \mathbb{R}^{n \times d_k}$，$V \in \mathbb{R}^{n \times d_v}$。多头注意力（Multi-Head Attention）通过并行运行多个注意力头来捕获不同子空间的信息：
class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, d_head): super().__init__() self.n_heads = n_heads self.d_head = d_head self.q_proj = nn.Linear(d_model, n_heads * d_head) self.k_proj = nn.Linear(d_model, n_heads * d_head) self.v_proj = nn.Linear(d_model, n_heads * d_head) self.o_proj = nn.Linear(n_heads * d_head, d_model) def forward(self, x): B, T, C = x.shape q = self.q_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) k = self.k_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) v = self.v_proj(x).view(B, T, self.n_heads, self.d_head).transpose(1, 2) # Flash Attention v3 out = flash_attn_func(q, k, v, causal=True) return self.o_proj(out.transpose(1, 2).contiguous().view(B, T, -1)) 标准注意力的计算复杂度为 $O(n^2 d)$，空间复杂度同样为 $O(n^2)$，这成为处理长序列的核心瓶颈。
Flash Attention v3：IO感知的注意力计算 Flash Attention系列通过优化GPU内存层次结构中的IO操作，将注意力的内存访问从 $O(n^2)$ 降低到 $O(n)$。2025年发布的Flash Attention v3在FP8精度下实现了接近理论峰值的算力利用率：
版本 精度 算力利用率 关键创新 Flash Attention v1 FP16 ~50% Tiling + Recomputation Flash Attention v2 FP16/BF16 ~72% 减少非matmul FLOPs Flash Attention v3 FP8 ~75% 异步化 + FP8 GEMM Flash Attention v3的核心创新在于异步化（async）操作：将GEMM和softmax操作重叠执行，充分利用Tensor Core的并行能力。在H100 GPU上，FP8模式下可达1.2 PFLOPS的峰值算力。
...
