← 全部文章
AI教程

LLM 长上下文技术版图:知识体系结构图

September 3, 2026 · 约 9 分钟 · 3259 字

教学笔记:LLM 长上下文技术版图(知识体系结构图)

日期:2026-09-03 | 主题:长上下文(Long Context)技术全景

总览:一场"看得远"的系统工程

让模型"看得远",从来不是靠某一项黑科技,而是四个层面协同的系统工程。可以把模型处理上下文想象成经营一间巨大的会议室:

  • 位置编码决定会议桌能不能加长——桌子太短,后面的位置编号就是模型从没见过的,一坐上去就崩;
  • 注意力计算决定与会者能不能高效互动——两两交谈的开销随人数平方增长,人一多就谈不动了;
  • KV Cache决定每位与会者的"发言记录"放在哪——记录越积越多,房间(显存)很快塞满;
  • 上下文压缩决定哪些人真正需要进会议室——与其无限扩容,不如只请 relevant 的人入场。

按"从底层表示到上层信息管理"的顺序,这四层分别是:位置编码 → 注意力计算 → KV Cache → 上下文内容本身。


一、位置编码外推(Representation 层)

问题:模型在训练时只见过有限位置范围,推理时位置超界就崩——就像只排过 100 座的会议桌,突然来了 1000 位客人,座位号全在训练分布之外。

核心思想:不改训练数据,通过改造位置编码的数学形式,让模型能"平滑外推"到更长的序列。思路是别让新位置看起来陌生——要么整体压进已知范围,要么按频率分层伸缩。

  • RoPE 线性缩放(Position Interpolation, PI):把位置坐标整体压缩,使新长度落在训练范围内——简单粗暴,像把整张桌子等比缩小。代表:Meta 的 Position Interpolation(Llama 扩展到 32K)。
  • NTK-aware 缩放:不做均匀压缩,而是按频率分层缩放——高频保留、低频拉伸,避免"压缩得太狠导致相邻 token 分不清"的高频信息损失。代表:NTK-Aware Scaled RoPE(社区方案,后演化为 Code Llama 的做法)。
  • YaRN:结合 NTK 分频缩放 + 注意力温度修正 + 少量微调,是当前最常用的外推方案。代表:YaRN(Nous Research)。

二、注意力效率(Compute 层)

解决了"坐得下",下一个问题是"谈得起":标准注意力的计算量和显存随序列长度平方增长——1000 人开会要谈 100 万轮,坐得下也谈不完。

核心思想:两条路降复杂度——"算得快"(数学不动,动工程)和"算得少"(直接改数学本身)。

  • FlashAttention:算得快的代表。数学不变,重排计算——分块 + softmax 在线计算,避免显式存 N×N 矩阵。好比改进会议流程,谈话内容不变,但不用再每人发一本全员名册。代表:FlashAttention 1/2/3(Stanford/Together)。
  • GQA / MQA:算得少的代表之一。多个 Query 头共享一组 KV 头,直接砍小 KV Cache 和显存带宽压力——像是几位与会者共用一份会议纪要。代表:MQA(PaLM)、GQA(Llama 2 70B / Llama 3 全系)。
  • 稀疏注意力:只算"重要"的位置对,如局部窗口 + 全局 token——不是每人和每人都谈,而是和邻座深谈、和几位主持人保持全局联络。代表:Longformer、BigBird、Mistral 的 Sliding Window。
  • 线性注意力:用核函数把注意力改写为线性复杂度的递推形式——彻底换掉"两两交谈"的开会方式。代表:Linear Transformer、Mamba(状态空间模型路线的近亲)。

三、KV Cache 管理(Memory 层)

就算算得起,还有存放问题:长上下文下 KV Cache 显存占用爆炸(Llama 2 7B 处理 128K 约需数十 GB)。KV Cache 是推理时的"主瓶颈",管理它比堆显存更划算——会议纪要不能无限堆积,得想怎么省着放。

核心思想:把每一份 KV 记录变得更小(量化)、更少(淘汰/合并)、或者摆放得更聪明(分页)。

  • KV 量化:把 KV 从 FP16 压到 INT8/INT4——纪要从打印版换成缩印版。代表:KIVI、SmoothQuant 类思路在 KV 上的应用。
  • KV 淘汰/合并:按重要性丢弃或合并旧 token 的 KV——久远的发言只留要点。代表:H2O(Heavy-Hitter Oracle)、StreamingLLM(保留注意力汇聚点 attention sink + 局部窗口)。
  • 分页管理:把 KV Cache 像操作系统虚拟内存一样分页存储,消除碎片、支持共享——这是直接从 OS 内存管理借来的智慧。代表:vLLM 的 PagedAttention。

四、上下文压缩(Information 层)

最后一层最釜底抽薪:就算能塞下 1M token,真正有效利用的信息密度也在下降——"大海捞针"看似解决,多针、推理型任务仍退化。房间再大,塞满不相关的人,会议质量照样崩。

核心思想:与其无限扩展窗口,不如让进入窗口的信息更"值钱"——只请真正 relevant 的人进会议室。这也是唯一不依赖模型结构的软件层方案:不改模型一行权重,纯靠应用层工程。

  • 摘要/压缩:长历史压成短摘要或软提示向量——几长的前情用一页纪要代替。代表:gist tokens、RECOMP。
  • 检索增强(RAG):不把全部文档塞进上下文,按需检索相关片段——不请全员,谁有用请谁。代表:经典 RAG(DPR + LLM)、GraphRAG。
  • 记忆机制:跨会话/跨任务维护持久化记忆,需要时再取回——散会后档案入库,下次开会再调档。代表:MemGPT/Letta、Recursive Summary Memory。

版图树状图

LLM 长上下文
├── 1. 位置编码外推          ← 决定"能不能"扩(桌子够不够长)
│   ├── RoPE 线性缩放 (PI)
│   ├── NTK-aware 分频缩放
│   └── YaRN(缩放+温度修正+微调)
├── 2. 注意力效率            ← 决定"算不算得起"(谈不谈得动)
│   ├── FlashAttention(工程加速)
│   ├── GQA / MQA(共享 KV 头)
│   ├── 稀疏注意力(Longformer/滑窗)
│   └── 线性注意力(Linear Transformer/Mamba)
├── 3. KV Cache 管理         ← 决定"存不存得下"(纪要放不放得下)
│   ├── 量化(KIVI, INT4/8)
│   ├── 淘汰/合并(H2O, StreamingLLM)
│   └── 分页(PagedAttention / vLLM)
└── 4. 上下文压缩            ← 决定"用不用得好"(请谁进会议室)
    ├── 摘要 / 压缩(gist, RECOMP)
    ├── 检索增强(RAG, GraphRAG)
    └── 记忆机制(MemGPT)

依赖关系(关键!)

技术对 关系
位置编码外推 ↔ 注意力效率 正交:YaRN 扩窗与 FlashAttention 提速互不依赖,可任意组合——加长桌子和改进会议流程,两件事各干各的
注意力效率 ↔ KV Cache 管理 强耦合:GQA 直接减小 Cache 体积;PagedAttention 管理的是注意力产出的 KV;淘汰策略需与稀疏注意力模式兼容——谈的方式变了,纪要的记法也得跟着变
位置编码外推 ↔ KV 管理 弱耦合:StreamingLLM 的滑窗配合 RoPE 使用时依赖位置重编码(cache 内相对位置)
前三层 ↔ 上下文压缩 正交且互补:压缩是软件层方案,不依赖模型结构;RAG 是"上下文不够"时工程上的终极兜底——前三层把会议室经营到极致,这一层干脆少请人

一句话总结:1 和 2 解决"扩展窗口"(桌子加长、谈话提效),3 解决"伺候窗口"(纪要省着放),4 解决"少用窗口"(人少而精)——四者叠加才是现代 128K~1M 上下文模型的完整答案。

long-contextRoPEFlashAttentionKV-CacheRAG