Self-Attention

注意力机制：大模型的认知引擎 注意力机制是大语言模型的核心组件，决定了模型如何"关注"输入信息。经过多年发展，注意力机制已从最初的 Self-Attention 衍生出多种变体，每种都针对特定瓶颈进行了优化。本文将从数学原理到工程实现，全面解析 2026 年主流的注意力机制。 一、Self-Attention（自注意力） 1.1 数学定义 Self-Attention 是 Transformer 的基础操作。给定输入序列 $X \in \mathbb{R}^{n \times d}$，通过三个投影矩阵生成 Query、Key、Value： $$Q = X W_Q, \quad K = X W_K, \quad V = X W_V$$ 注意力输出为： $$\text{Attn}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中缩放因子 $\sqrt{d_k}$ 防止内积过大导致 softmax 饱和。 1.2 多头注意力（Multi-Head Attention） 多头机制让模型在不同子空间中关注不同模式： $$\text{MHA}(X) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W_O$$ $$\text{head}_i = \text{Attention}(XW_Q^i, XW_K^i, XW_V^i)$$ 每个头的维度 $d_k = d_{model} / h$。例如 Llama 3-70B 中，$d_{model} = 8192$, $h = 64$, $d_k = 128$。 ...

1. 注意力机制的数学基础 1.1 从信息检索到注意力 注意力机制源于信息检索的直觉：给定查询 Query，在键值对 (Key-Value) 集合中检索相关信息。注意力是软检索——不是返回最匹配的一项，而是对所有项加权求和。 1.2 Scaled Dot-Product Attention 推导 给定 $Q \in \mathbb{R}^{n \times d_k}$, $K \in \mathbb{R}^{m \times d_k}$, $V \in \mathbb{R}^{m \times d_v}$： $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 逐步分解： 相似度计算：$S = QK^T \in \mathbb{R}^{n \times m}$，每个元素 $S_{ij} = \sum_{l=1}^{d_k} Q_{il} K_{jl}$ 是点积相似度 缩放：$\hat{S}{ij} = S{ij} / \sqrt{d_k}$，控制方差 归一化：$A_{ij} = \frac{e^{\hat{S}{ij}}}{\sum{j’} e^{\hat{S}_{ij’}}}$，每行 softmax 加权聚合：$O = AV \in \mathbb{R}^{n \times d_v}$ 方差分析：假设 $Q, K$ 各分量独立同分布，均值为 0，方差为 1，则 $S_{ij} = \sum_{l=1}^{d_k} Q_{il}K_{jl}$ 的均值为 0，方差为 $d_k$。当 $d_k=64$ 时，$S_{ij}$ 标准差为 8，softmax 输入范围 $[-24, 24]$，梯度几乎为零。除以 $\sqrt{d_k}=8$ 后方差恢复为 1。 ...