RoPE

位置编码演进 绝对位置编码 原始 Transformer 使用可学习的绝对位置编码：$E = E_{\text{token}} + E_{\text{pos}}$，其中 $E_{\text{pos}}$ 是可学习参数。 问题：无法外推到训练时未见过的长度。 相对位置编码 T5/ALBERT 使用相对位置偏置：$\text{Attn}(Q_i, K_j) = \frac{Q_i K_j^T}{\sqrt{d}} + b_{i-j}$ 问题：需要额外偏置项，且对窗口外的位置需要截断。 旋转位置编码（RoPE） RoPE（Su et al., 2021）的核心思想：通过旋转矩阵将绝对位置编码转化为相对位置编码——对位置 $m$ 的 Query 和位置 $n$ 的 Key，注意力分数只依赖 $m - n$。 RoPE 数学原理 二维情形 对于二维向量 $q = (q_0, q_1)$，在位置 $m$ 处旋转角度 $m\theta$： $$q_m = R_m q = \begin{pmatrix} \cos m\theta & -\sin m\theta \ \sin m\theta & \cos m\theta \end{pmatrix} \begin{pmatrix} q_0 \ q_1 \end{pmatrix}$$ ...