← 全部文章
教程

线性注意力中的解耦擦除与写入 — Gated DeltaNet-2 教程

May 24, 2026 · 约 8 分钟 · 3107 字

线性注意力中的解耦擦除与写入 — Gated DeltaNet-2 教程

🟢 入门:用笔记本来理解

标准注意力 = 每次翻笔记查一遍

想象你在读一本很长的笔记本。每次想知道某个主题,你都得从头翻到尾,找到所有相关的页——这就是标准注意力做的事,复杂度是 O(n²)。

线性注意力 = 维护一个索引卡

更聪明的做法:维护一张索引卡,新内容来的时候直接更新索引。下次查主题,看索引就行——O(n) 复杂度。

但问题来了:索引卡有限,旧内容要怎么"擦掉"才能腾出空间?

单一门控 = 一个旋钮控制一切

之前的线性注意力方法(如 DeltaNet)只用一个旋钮:转一下,既擦掉旧内容又写入新内容。但你想过没有?

  • 有时候你只想擦掉错误信息,不急着写新的
  • 有时候你只想追加新知识,不想动旧内容
  • 一个旋钮根本不够用

解耦门控 = 两个独立旋钮

Gated DeltaNet-2 的核心思想:用两个旋钮代替一个。

  • 擦除旋钮(Erase Gate):决定"旧内容要删多少"
  • 写入旋钮(Write Gate):决定"新内容写多少"

这样,模型可以灵活地组合四种操作:

  1. 只擦不写(清理过期信息)
  2. 只写不擦(积累新知识)
  3. 又擦又写(替换)
  4. 不擦不写(保持原状)

一句话总结:给线性注意力两个独立的"开关",让它能更精细地控制记忆的更新,就像用橡皮擦和铅笔,而不是一支能擦能写的两用笔。


🟡 中级:有 ML 基础的人

背景:线性注意力的记忆更新问题

标准 Softmax 注意力的核心操作是对 Q、K、V 计算加权求和。关键瓶颈:Q 乘 K 的转置是 n×n 的矩阵,推理时需要缓存所有 KV 对。

线性注意力通过核函数近似绕过 Softmax:特征映射 φ(K) 的转置乘以 V 形成一个 d×d 的状态矩阵 S,大小固定!每来一个新 token,只需增量更新 S。

这就是线性注意力的核心优势——固定大小的状态空间。

问题:简单累加导致信息过期

如果只是不断累加,S 矩阵会被越来越旧的噪声淹没。因此需要遗忘机制。

Gated DeltaNet(先前工作)使用了单一的门控标量 β:

S_t = (1 - β) · S_{t-1} + β · φ(k_t) · v_t^T

β 同时控制擦除和写入。β 大时,旧内容被大量擦除、新内容大量写入;β 小时,几乎不动。

KDA(另一先前工作)采用了类似但不同的擦除策略,用了一个独立的擦除项。

核心贡献:解耦

Gated DeltaNet-2 的核心更新规则:

S_t = (1 - e_t) ⊙ S_{t-1} + w_t ⊙ (φ(k_t) · v_t^T)

其中:

  • e_t ∈ R^d 是 erase gate(channel-wise 擦除门)
  • w_t ∈ R^d 是 write gate(channel-wise 写入门)
  • ⊙ 表示逐元素乘法(Hadamard product)

关键区别:e_t 和 w_t 是逐通道独立的 d 维向量,不是标量。模型可以在某些通道上激进擦除,在其他通道上保守更新。

统一框架

论文的贡献不仅是提出新方法,更是证明了 Gated DeltaNet 和 KDA 是这个统一框架的特例:

方法 擦除门 e_t 写入门 w_t
Gated DeltaNet β · 1(标量广播) β · 1(标量广播)
KDA 独立学习 独立学习
Gated DeltaNet-2 channel-wise 独立 channel-wise 独立

为什么解耦更好?

  1. 表达力更强:2d 个自由参数 vs 1 个,模型可以学习更精细的更新策略
  2. 梯度更稳定:擦除和写入的梯度不再耦合,优化更容易
  3. 性能提升:在语言建模基准上超越 Gated DeltaNet 和 KDA

🔴 高级:从业者级别

问题形式化

线性注意力维护一个状态矩阵 S ∈ R^(d×d),更新规则的一般形式:

S_t = A_t ⊙ S_{t-1} + B_t ⊙ (φ(k_t) · v_t^T)

其中 A_t ∈ R^d 是保持矩阵(retain mask),B_t ∈ R^d 是写入权重。

单门控方法(如 Gated DeltaNet):A_t = (1-β)·1,B_t = β·1,仅一个标量参数 β ∈ (0,1)。

Gated DeltaNet-2 的设计

论文提出如下更新规则:

S_t = (1 - σ(f_t)) ⊙ S_{t-1} + σ(g_t) ⊙ (φ(k_t) · v_t^T)

其中:

  • f_t = W_f · x_t + b_f 生成 erase gate 的 logits
  • g_t = W_g · x_t + b_g 生成 write gate 的 logits
  • σ 为 sigmoid 激活函数
  • φ 为特征映射(通常使用 ELU+1 等非负映射)

设计直觉:

  • 擦除和写入共享输入 x_t,但通过独立的线性投影生成,确保两者可以独立优化
  • 使用 sigmoid 约束到 (0,1),保证擦除是部分擦除(不会完全丢失历史)
  • Channel-wise 操作使得不同维度可以同时执行不同的策略

归一化与稳定性

为确保训练稳定性,论文采用了以下技术:

  • 状态归一化:对 S_t 进行 RMSNorm,防止数值溢出
  • 门控预热:训练初期限制 erase gate 的范围,避免过早遗忘
  • 残差连接:输出端加入残差,缓解深度网络的梯度问题

与 Recurrent Memory 的联系

这个框架实际上等价于一种结构化 RNN:

h_t = diag(1 - e_t) · h_{t-1} + diag(w_t) · inp_t

与 LSTM 的遗忘门/输入门的类比:

LSTM Gated DeltaNet-2
遗忘门 f_t 擦除门 e_t
输入门 i_t 写入门 w_t
细胞状态 c_t 状态矩阵 S_t
输出门 o_t 查询 q_t

核心差异:LSTM 操作在向量上,Gated DeltaNet-2 操作在矩阵上(d×d),这意味着每个"记忆通道"是一个完整的向量,而非单个标量。

实验洞察

论文报告了以下关键发现:

  1. 擦除门倾向于稀疏激活:大多数时刻擦除门接近零,只在检测到冲突/过期信息时才大幅激活——类似"按需遗忘"
  2. 写入门的分布更均匀:写入更频繁,但幅度因重要性而异
  3. 擦除和写入的负相关性:两者并非简单的互补关系;有时同时高(完全替换),有时同时低(保持原状),验证了解耦的必要性

实践建议

如果你要在自己的项目中应用这个机制:

  • 小模型(参数量小于 1B):解耦的收益相对较小,单门控可能更高效
  • 长上下文场景(超过 8K tokens):解耦的收益最显著,因为精细的记忆管理更关键
  • 训练技巧:建议使用较低的擦除门初始偏置(如 -2.0),让模型从"保守遗忘"开始学习

总结

层面 核心要点
入门 两个开关(擦除/写入)比一个旋钮更灵活
中级 channel-wise 解耦门控提供 2d 个自由度,统一了 Gated DeltaNet 和 KDA
高级 矩阵状态上的独立擦除/写入门控,类比 LSTM 但作用于结构化记忆空间

这个工作的精髓在于一个简单却深刻的洞察:擦除和写入是两种本质上不同的操作,不应该被同一个信号控制。这看似显而易见,但在线性注意力的研究中,直到这篇论文才被系统性地论证和验证。

研究线性注意力状态空间模型教程早期文章