数学原理

RoPE（Rotary Position Embedding）已经成为现代大模型位置编码的事实标准——从Llama到Qwen，从Mistral到DeepSeek，几乎清一色地选择了RoPE。它到底好在哪？本文从数学原理到工程实现，带你彻底理解RoPE及其重要变体。 一、为什么需要位置编码 Transformer的自注意力机制本身是排列不变的——打乱输入顺序，输出不变。要让模型感知序列中token的位置，就必须注入位置信息。 位置编码经历了三个阶段： 绝对位置编码（Learned/Absolute）：每个位置一个可学习向量。问题：无法外推到训练长度之外。 相对位置编码（ALiBi/Relative）：编码token间的相对距离。问题：计算复杂度高或表达力受限。 旋转位置编码（RoPE）：巧妙地将绝对位置信息以旋转方式融入，但最终效果是相对的。两全其美。 二、RoPE的数学原理 2.1 核心思想 RoPE的核心洞察：通过旋转操作，使得query和key的点积自然地成为它们相对位置的函数。 给定query向量 q 和key向量 k，我们希望找到一种变换 f，使得： <f(q, m), f(k, n)> = g(q, k, m-n) 其中 m, n 是绝对位置，m-n 是相对位置。也就是说，内积的结果只依赖于相对位置。 2.2 二维情形推导 先看最简单的二维情况。将 q = (q₁, q₂) 旋转角度 mθ： f(q, m) = [q₁·cos(mθ) - q₂·sin(mθ), q₁·sin(mθ) + q₂·cos(mθ)] 同理，k 旋转角度 nθ。则它们的内积： <f(q,m), f(k,n)> = (q₁k₁ + q₂k₂)cos((m-n)θ) + (q₁k₂ - q₂k₁)sin((m-n)θ) 可以看到，内积确实只依赖于 (m-n)，即相对位置！而且结果中既包含了 q·k 的原始信息（通过cos项），也包含了旋转引入的位置信息（通过sin项）。 2.3 高维推广 将d维向量两两分组，每对应用不同频率的旋转： 对于维度对 (q_{2i}, q_{2i+1})，旋转角度为 m·θ_i 其中 θ_i = base^(-2i/d)，base通常取10000 这样不同维度对对应不同的旋转频率，低维度变化快（捕捉局部位置关系），高维度变化慢（捕捉全局位置关系）。 ...