线性注意力中的解耦擦除与写入 — Gated DeltaNet-2 教程
线性注意力中的解耦擦除与写入 — Gated DeltaNet-2 教程
🟢 入门:用笔记本来理解
标准注意力 = 每次翻笔记查一遍
想象你在读一本很长的笔记本。每次想知道某个主题,你都得从头翻到尾,找到所有相关的页——这就是标准注意力做的事,复杂度是 O(n²)。
线性注意力 = 维护一个索引卡
更聪明的做法:维护一张索引卡,新内容来的时候直接更新索引。下次查主题,看索引就行——O(n) 复杂度。
但问题来了:索引卡有限,旧内容要怎么"擦掉"才能腾出空间?
单一门控 = 一个旋钮控制一切
之前的线性注意力方法(如 DeltaNet)只用一个旋钮:转一下,既擦掉旧内容又写入新内容。但你想过没有?
- 有时候你只想擦掉错误信息,不急着写新的
- 有时候你只想追加新知识,不想动旧内容
- 一个旋钮根本不够用
解耦门控 = 两个独立旋钮
Gated DeltaNet-2 的核心思想:用两个旋钮代替一个。
- 擦除旋钮(Erase Gate):决定"旧内容要删多少"
- 写入旋钮(Write Gate):决定"新内容写多少"
这样,模型可以灵活地组合四种操作:
- 只擦不写(清理过期信息)
- 只写不擦(积累新知识)
- 又擦又写(替换)
- 不擦不写(保持原状)
一句话总结:给线性注意力两个独立的"开关",让它能更精细地控制记忆的更新,就像用橡皮擦和铅笔,而不是一支能擦能写的两用笔。
🟡 中级:有 ML 基础的人
背景:线性注意力的记忆更新问题
标准 Softmax 注意力的核心操作是对 Q、K、V 计算加权求和。关键瓶颈:Q 乘 K 的转置是 n×n 的矩阵,推理时需要缓存所有 KV 对。
线性注意力通过核函数近似绕过 Softmax:特征映射 φ(K) 的转置乘以 V 形成一个 d×d 的状态矩阵 S,大小固定!每来一个新 token,只需增量更新 S。
这就是线性注意力的核心优势——固定大小的状态空间。
问题:简单累加导致信息过期
如果只是不断累加,S 矩阵会被越来越旧的噪声淹没。因此需要遗忘机制。
Gated DeltaNet(先前工作)使用了单一的门控标量 β:
S_t = (1 - β) · S_{t-1} + β · φ(k_t) · v_t^T
β 同时控制擦除和写入。β 大时,旧内容被大量擦除、新内容大量写入;β 小时,几乎不动。
KDA(另一先前工作)采用了类似但不同的擦除策略,用了一个独立的擦除项。
核心贡献:解耦
Gated DeltaNet-2 的核心更新规则:
S_t = (1 - e_t) ⊙ S_{t-1} + w_t ⊙ (φ(k_t) · v_t^T)
其中:
e_t ∈ R^d是 erase gate(channel-wise 擦除门)w_t ∈ R^d是 write gate(channel-wise 写入门)⊙表示逐元素乘法(Hadamard product)
关键区别:e_t 和 w_t 是逐通道独立的 d 维向量,不是标量。模型可以在某些通道上激进擦除,在其他通道上保守更新。
统一框架
论文的贡献不仅是提出新方法,更是证明了 Gated DeltaNet 和 KDA 是这个统一框架的特例:
| 方法 | 擦除门 e_t | 写入门 w_t |
|---|---|---|
| Gated DeltaNet | β · 1(标量广播) | β · 1(标量广播) |
| KDA | 独立学习 | 独立学习 |
| Gated DeltaNet-2 | channel-wise 独立 | channel-wise 独立 |
为什么解耦更好?
- 表达力更强:2d 个自由参数 vs 1 个,模型可以学习更精细的更新策略
- 梯度更稳定:擦除和写入的梯度不再耦合,优化更容易
- 性能提升:在语言建模基准上超越 Gated DeltaNet 和 KDA
🔴 高级:从业者级别
问题形式化
线性注意力维护一个状态矩阵 S ∈ R^(d×d),更新规则的一般形式:
S_t = A_t ⊙ S_{t-1} + B_t ⊙ (φ(k_t) · v_t^T)
其中 A_t ∈ R^d 是保持矩阵(retain mask),B_t ∈ R^d 是写入权重。
单门控方法(如 Gated DeltaNet):A_t = (1-β)·1,B_t = β·1,仅一个标量参数 β ∈ (0,1)。
Gated DeltaNet-2 的设计
论文提出如下更新规则:
S_t = (1 - σ(f_t)) ⊙ S_{t-1} + σ(g_t) ⊙ (φ(k_t) · v_t^T)
其中:
f_t = W_f · x_t + b_f生成 erase gate 的 logitsg_t = W_g · x_t + b_g生成 write gate 的 logitsσ为 sigmoid 激活函数φ为特征映射(通常使用 ELU+1 等非负映射)
设计直觉:
- 擦除和写入共享输入 x_t,但通过独立的线性投影生成,确保两者可以独立优化
- 使用 sigmoid 约束到 (0,1),保证擦除是部分擦除(不会完全丢失历史)
- Channel-wise 操作使得不同维度可以同时执行不同的策略
归一化与稳定性
为确保训练稳定性,论文采用了以下技术:
- 状态归一化:对 S_t 进行 RMSNorm,防止数值溢出
- 门控预热:训练初期限制 erase gate 的范围,避免过早遗忘
- 残差连接:输出端加入残差,缓解深度网络的梯度问题
与 Recurrent Memory 的联系
这个框架实际上等价于一种结构化 RNN:
h_t = diag(1 - e_t) · h_{t-1} + diag(w_t) · inp_t
与 LSTM 的遗忘门/输入门的类比:
| LSTM | Gated DeltaNet-2 |
|---|---|
| 遗忘门 f_t | 擦除门 e_t |
| 输入门 i_t | 写入门 w_t |
| 细胞状态 c_t | 状态矩阵 S_t |
| 输出门 o_t | 查询 q_t |
核心差异:LSTM 操作在向量上,Gated DeltaNet-2 操作在矩阵上(d×d),这意味着每个"记忆通道"是一个完整的向量,而非单个标量。
实验洞察
论文报告了以下关键发现:
- 擦除门倾向于稀疏激活:大多数时刻擦除门接近零,只在检测到冲突/过期信息时才大幅激活——类似"按需遗忘"
- 写入门的分布更均匀:写入更频繁,但幅度因重要性而异
- 擦除和写入的负相关性:两者并非简单的互补关系;有时同时高(完全替换),有时同时低(保持原状),验证了解耦的必要性
实践建议
如果你要在自己的项目中应用这个机制:
- 小模型(参数量小于 1B):解耦的收益相对较小,单门控可能更高效
- 长上下文场景(超过 8K tokens):解耦的收益最显著,因为精细的记忆管理更关键
- 训练技巧:建议使用较低的擦除门初始偏置(如 -2.0),让模型从"保守遗忘"开始学习
总结
| 层面 | 核心要点 |
|---|---|
| 入门 | 两个开关(擦除/写入)比一个旋钮更灵活 |
| 中级 | channel-wise 解耦门控提供 2d 个自由度,统一了 Gated DeltaNet 和 KDA |
| 高级 | 矩阵状态上的独立擦除/写入门控,类比 LSTM 但作用于结构化记忆空间 |
这个工作的精髓在于一个简单却深刻的洞察:擦除和写入是两种本质上不同的操作,不应该被同一个信号控制。这看似显而易见,但在线性注意力的研究中,直到这篇论文才被系统性地论证和验证。