← 全部文章
transformer

Transformer 位置编码演进:从正弦到旋转,位置信息如何被赋予

September 2, 2026 · 约 13 分钟 · 4812 字


title: Transformer 位置编码演进 date: 2026-09-02 tags: [transformer, attention, positional-encoding]

Transformer 位置编码演进:从正弦到旋转,位置信息如何被赋予

Transformer 的自注意力机制本身是位置无关的——它把输入当成一个「袋子里的词」,谁先谁后它分不清。位置编码的使命就是告诉模型「每个词在哪里」,同时不破坏注意力机制本身的灵活性。

下面用三种难度,拆解四代位置编码的演进逻辑。


🌱 入门版:用生活比喻理解

正弦位置编码——「刻度尺」

想象你在读一本书,但有人把所有句子的词序全打乱了。你怎么恢复?最朴素的方法:给每个位置标上尺子一样的刻度——第1个词、第2个词、第3个词……正弦位置编码就是这把尺子,只不过它用波浪线(正弦函数)来画刻度。不同频率的波浪对应不同的「粗细刻度」:低频波浪标记大致位置(前半段 vs 后半段),高频波浪标记精细位置(第3个 vs 第4个)。这种方法不需要学习,开箱即用,但有个问题——它给的是「绝对地址」(你在第几页第几行),不擅长理解「这两个词隔了多远」。

可学习位置编码——「自选座号」

正弦编码的刻度是人规定好的,能不能让模型自己学?可学习位置编码就像电影院的自选座位——每个位置有一个可调节的向量,模型在训练中自己摸索「哪个位置该用什么样的表示」。它的好处是灵活,模型能根据数据找到最优的位置表示。坏处也明显:你只能在训练时见过的长度内学习。如果训练时最多见过 512 个词,到了 1024 个词就完全不知道怎么办了——就像一个只盖了 512 层的楼,突然要住 1024 层的人。

RoPE——「旋转名片」

RoPE(旋转位置编码)换了一个思路:不单独给位置信息,而是把位置信息直接揉进词的内容里。想象每个人手里都拿着一张名片,每往后站一位,名片就旋转一定角度。两个词的相对距离,自然体现在它们名片旋转角度的差异上。这意味着模型天然就能理解「A 和 B 隔了多远」,而不需要额外学习。而且它天然支持更长的文本——不管多远的位置,旋转逻辑都一样。这就是为什么现在大多数大模型都用 RoPE。

ALiBi——「远距离惩罚」

ALiBi(Attention with Linear Biases)走了最极简的路线:完全不加位置编码,而是在计算注意力分数时,对距离远的词对施加一个额外的「惩罚分」。就像开会时,离你越远的人说话你越不容易听清。这个方法极其简单、极其高效,而且外推能力惊人——用 1024 长度训练的模型可以顺畅处理 4096 甚至更长的文本。代价是它对长程依赖的建模能力稍弱,毕竟它只告诉模型「这两个词很远」,没说「远在哪里」。


🌿 中级版:核心思想与简单公式

正弦位置编码(Sinusoidal, Vaswani et al. 2017)

对位置 $pos$、维度 $i$,编码为:

$$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right)$$

$$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right)$$

核心思想:用不同频率的正弦/余弦函数生成位置向量。维度索引 $i$ 越小,波长越短、频率越高,编码局部细节;$i$ 越大,波长越长、频率越低,编码全局位置——相当于从精细刻度到粗略刻度的多尺度组合。优点是无需学习参数,且理论上可以外推到更长序列(通过线性插值)。缺点是绝对位置编码,相对位置关系需要模型自己从注意力权重中「悟」出来。

可学习位置编码(Learned, BERT/GPT 风格)

直接将一个可训练的嵌入矩阵 $E \in \mathbb{R}^{L \times d}$ 加到输入嵌入上:

$$x'_t = x_t + E_t$$

其中 $L$ 是最大序列长度。核心思想是让模型自己学最优的位置表示。BERT 和 GPT-2 都用这种方式。优点是表达力强,能针对任务优化。缺点是长度外推能力差——超过训练长度的位置没有对应的嵌入。GPT 系列后来放弃它转向 RoPE,主要就是为此。

RoPE(Rotary Position Embedding, Su et al. 2021)

RoPE 通过在注意力计算中对 query 和 key 施加旋转变换来编码位置:

$$\hat{q}_m = R_m q_m, \quad \hat{k}_n = R_n k_n$$

其中 $R_m$ 是一个分块旋转矩阵。关键性质:

$$\langle \hat{q}_m, \hat{k}n \rangle = \langle q_m, R{n-m} k_n \rangle$$

内积只依赖相对位置 $n - m$。这是 RoPE 最大的优势:无需额外操作,注意力分数就天然编码了相对距离。LLaMA、Qwen、Mistral 等主流开源大模型均采用 RoPE。实际使用中通常配合长度外推技术(如 NTK-Aware 缩放、YaRN)来处理超长文本。

ALiBi(Press et al. 2022)

ALiBi 完全不修改输入嵌入,而是在注意力分数上加一个与距离成正比的线性偏置:

$$\text{Attention}(Q, K) = \text{softmax}\left(QK^T / \sqrt{d} + m \cdot [-1, -2, \ldots, -(n-1)]\right)$$

其中 $m$ 是预定义的标量斜率(不同 head 用不同值),$[-1, -2, \ldots]$$ 是下三角距离矩阵的行。核心思想:用最简单的方式让模型「感知距离」——越远的 token 被抑制得越多。ALiBi 在 BERT 和 GPT 上都展现了卓越的长度外推能力,且几乎不增加计算开销。缺点是缺乏绝对位置信息,且对需要精确长程依赖的任务表现稍弱。


🌳 高级版:数学细节、优缺点与适用场景

1. 正弦位置编码:可分离性的理论保证

正弦编码的设计不仅是为了生成唯一的位置向量,更重要的是满足一个关键性质——任意两个位置的编码可以通过线性变换互相表示:

$$PE_{pos + k} = T_k \cdot PE_{pos}$$

其中 $T_k$ 只依赖偏移量 $k$ 而非绝对位置。这意味着模型理论上可以通过学习线性变换来处理相对位置。然而实践中这个性质利用得并不好,因为自注意力是离散的查询-键匹配,而非连续的线性变换。

另一个被忽视的性质是正弦编码等价于将位置映射到复数域的单位圆上:

$$PE_{pos}^{(i)} = e^{i \cdot pos / 10000^{2i/d}}$$

这为后来 RoPE 的设计埋下了伏笔。正弦编码在 Vision Transformer 中仍有应用(如 ViT 的原始实现),但在 NLP 领域已基本被 RoPE 取代。

2. 可学习位置编码:表达力的天花板与外推的陷阱

可学习位置编码的本质是在高维空间中为每个位置分配一个自由向量。其表达力理论上等于正弦编码的子集——因为正弦编码的 $L$ 个位置向量张成的空间维度为 $d$,而可学习编码同样在 $\mathbb{R}^d$ 中。区别在于可学习编码受限于训练数据的分布,而正弦编码由解析函数生成。

外推问题可以用 Fourier 分析理解:可学习编码隐式地在位置索引上做了一种离散 Fourier 变换,其频率成分完全由训练长度 $L$ 决定。当外推到 $L' > L$ 时,模型相当于在未见过的频率上做推断,自然表现崩溃。一些改进方案如插值(位置重缩放)和自适应位置编码试图缓解这一问题,但增加了训练复杂度。

3. RoPE:从群论到工程实践

RoPE 的数学基础是二维旋转群的表示。将 $d$ 维向量分为 $d/2$ 个二维子空间,在每个子空间上施加角度为 $m\theta_i$ 的旋转:

$$R_{\Theta, m}^d = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & & \ \sin m\theta_1 & \cos m\theta_1 & & \ & & \ddots & \ & & & \cos m\theta_{d/2} & -\sin m\theta_{d/2} \ & & & \sin m\theta_{d/2} & \cos m\theta_{d/2} \end{pmatrix}$$

其中 $\theta_i = 10000^{-2(i-1)/d}$。这个设计使得:

  1. 相对位置编码作为副产品:$\langle R_m q, R_n k \rangle = \langle q, R_{n-m} k \rangle$,注意力的内积自动变为相对位置函数。
  2. 与逐位置前馈网络兼容:旋转不改变向量的模长,因此 FFN 的逐位置操作不受影响。
  3. 多尺度的位置感知:不同 $\theta_i$ 对应不同频率的旋转,高频子空间捕获全局位置关系,低频子空间捕获局部精细关系。

注:这里的「高频捕获全局」沿用 RoPE 文献中关于旋转频率的表述——$ heta_i$ 越大(对应小 $i$),旋转越快,编码精细/局部位置;$ heta_i$ 越小,旋转越慢,一个周期跨越更多位置,编码长程关系。与上节正弦编码的频率表述保持一致:小 $i$ = 高频 = 局部细节,大 $i$ = 低频 = 全局位置。

工程改进: 实际实现中,RoPE 使用复数运算加速(将旋转转为复数乘法),Flash Attention 2/3 也专门为 RoPE 做了内核级优化。对于长度外推,主流方案包括:

  • NTK-Aware 插值(kaiokendev, 2023):外推时缩放 $\theta$ 的基底,使高频成分不被过度压缩。
  • YaRN(Peng et al., 2023):结合 NTK 插值和注意力温度调整,在长文本上保持性能。
  • 动态 NTK:推理时根据序列长度动态调整旋转频率。

4. ALiBi:极致简单的哲学

ALiBi 的理论洞察是:位置编码的核心作用可能只是让注意力衰减,而非提供精细的位置信息。其数学形式极其简洁:

$$a_{ij} = \text{softmax}_j\left(s_i \cdot q_i^T k_j / \sqrt{d} - m_h \cdot |i - j|\right)$$

其中 $m_h$ 是第 $h$ 个 head 的斜率,按 $2^{-8h/H}$ 几何递减($H$ 为 head 数)。设计原理:

  1. 无嵌入修改:位置信息纯粹通过注意力偏置注入,不改变 token 表示本身。
  2. 线性距离惩罚:$-m \cdot |i-j|$ 确保远处 token 的注意力分数被系统性压低。
  3. 多头异质性:不同 head 用不同 $m$ 值,允许模型同时关注不同尺度的依赖关系。

ALiBi 在训练效率上具有显著优势——无需位置嵌入参数,且天然外推。BLOOM 系列模型采用了 ALiBi。但其局限也很明确:缺乏绝对位置信息使其不适合需要精确位置推理的任务(如数学推理中的位置敏感操作),且线性衰减可能过于简单,无法捕捉复杂的非单调位置关系。

四种方案对比总结

方案 位置类型 可外推 额外参数 代表模型
Sinusoidal 绝对 理论可(插值) 无 原始 Transformer, ViT
Learned 绝对 差 $O(Ld)$ BERT, GPT-2
RoPE 相对(隐式) 需辅助技术 无 LLaMA, Qwen, Mistral
ALiBi 距离惩罚 好 $H$ 个标量 BLOOM, MPT

演进逻辑:从「告诉模型每个位置在哪」(绝对编码)→「让模型自己学」(可学习)→「编码相对距离」(RoPE)→「只做距离惩罚」(ALiBi)。趋势是:位置信息注入方式越来越轻量,外推能力越来越受重视。当前主流(2026)大模型几乎统一采用 RoPE + 长度外推技术的组合。

transformerattentionpositional-encoding