[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fW2D-F5cJ-K3wjNKKqQP9nYVSQNC2C2dZO6D77Hv6fIE":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},6,"LLM 长上下文技术版图：知识体系结构图","llm-long-context-landscape","\u003C!-- reviewed: 2026-09-04 -->\n\n# 教学笔记：LLM 长上下文技术版图（知识体系结构图）\n\n> 日期：2026-09-03 ｜ 主题：长上下文（Long Context）技术全景\n\n## 总览：一场\"看得远\"的系统工程\n\n让模型\"看得远\"，从来不是靠某一项黑科技，而是四个层面协同的系统工程。可以把模型处理上下文想象成**经营一间巨大的会议室**：\n\n- **位置编码**决定会议桌能不能加长——桌子太短，后面的位置编号就是模型从没见过的，一坐上去就崩；\n- **注意力计算**决定与会者能不能高效互动——两两交谈的开销随人数平方增长，人一多就谈不动了；\n- **KV Cache**决定每位与会者的\"发言记录\"放在哪——记录越积越多，房间（显存）很快塞满；\n- **上下文压缩**决定哪些人真正需要进会议室——与其无限扩容，不如只请 relevant 的人入场。\n\n按\"从底层表示到上层信息管理\"的顺序，这四层分别是：**位置编码 → 注意力计算 → KV Cache → 上下文内容本身**。\n\n---\n\n## 一、位置编码外推（Representation 层）\n\n**问题**：模型在训练时只见过有限位置范围，推理时位置超界就崩——就像只排过 100 座的会议桌，突然来了 1000 位客人，座位号全在训练分布之外。\n\n**核心思想**：不改训练数据，通过改造位置编码的数学形式，让模型能\"平滑外推\"到更长的序列。思路是**别让新位置看起来陌生**——要么整体压进已知范围，要么按频率分层伸缩。\n\n- **RoPE 线性缩放（Position Interpolation, PI）**：把位置坐标整体压缩，使新长度落在训练范围内——简单粗暴，像把整张桌子等比缩小。代表：Meta 的 Position Interpolation（Llama 扩展到 32K）。\n- **NTK-aware 缩放**：不做均匀压缩，而是按频率分层缩放——高频保留、低频拉伸，避免\"压缩得太狠导致相邻 token 分不清\"的高频信息损失。代表：NTK-Aware Scaled RoPE（社区方案，后演化为 Code Llama 的做法）。\n- **YaRN**：结合 NTK 分频缩放 + 注意力温度修正 + 少量微调，是当前最常用的外推方案。代表：YaRN（Nous Research）。\n\n---\n\n## 二、注意力效率（Compute 层）\n\n解决了\"坐得下\"，下一个问题是\"谈得起\"：标准注意力的计算量和显存随序列长度**平方增长**——1000 人开会要谈 100 万轮，坐得下也谈不完。\n\n**核心思想**：两条路降复杂度——\"算得快\"（数学不动，动工程）和\"算得少\"（直接改数学本身）。\n\n- **FlashAttention**：算得快的代表。数学不变，重排计算——分块 + softmax 在线计算，避免显式存 N×N 矩阵。好比改进会议流程，谈话内容不变，但不用再每人发一本全员名册。代表：FlashAttention 1\u002F2\u002F3（Stanford\u002FTogether）。\n- **GQA \u002F MQA**：算得少的代表之一。多个 Query 头共享一组 KV 头，直接砍小 KV Cache 和显存带宽压力——像是几位与会者共用一份会议纪要。代表：MQA（PaLM）、GQA（Llama 2 70B \u002F Llama 3 全系）。\n- **稀疏注意力**：只算\"重要\"的位置对，如局部窗口 + 全局 token——不是每人和每人都谈，而是和邻座深谈、和几位主持人保持全局联络。代表：Longformer、BigBird、Mistral 的 Sliding Window。\n- **线性注意力**：用核函数把注意力改写为线性复杂度的递推形式——彻底换掉\"两两交谈\"的开会方式。代表：Linear Transformer、Mamba（状态空间模型路线的近亲）。\n\n---\n\n## 三、KV Cache 管理（Memory 层）\n\n就算算得起，还有存放问题：长上下文下 KV Cache 显存占用爆炸（Llama 2 7B 处理 128K 约需数十 GB）。**KV Cache 是推理时的\"主瓶颈\"，管理它比堆显存更划算**——会议纪要不能无限堆积，得想怎么省着放。\n\n**核心思想**：把每一份 KV 记录变得更小（量化）、更少（淘汰\u002F合并）、或者摆放得更聪明（分页）。\n\n- **KV 量化**：把 KV 从 FP16 压到 INT8\u002FINT4——纪要从打印版换成缩印版。代表：KIVI、SmoothQuant 类思路在 KV 上的应用。\n- **KV 淘汰\u002F合并**：按重要性丢弃或合并旧 token 的 KV——久远的发言只留要点。代表：H2O（Heavy-Hitter Oracle）、StreamingLLM（保留注意力汇聚点 attention sink + 局部窗口）。\n- **分页管理**：把 KV Cache 像操作系统虚拟内存一样分页存储，消除碎片、支持共享——这是直接从 OS 内存管理借来的智慧。代表：vLLM 的 PagedAttention。\n\n---\n\n## 四、上下文压缩（Information 层）\n\n最后一层最釜底抽薪：就算能塞下 1M token，真正有效利用的信息密度也在下降——\"大海捞针\"看似解决，多针、推理型任务仍退化。房间再大，塞满不相关的人，会议质量照样崩。\n\n**核心思想**：与其无限扩展窗口，不如让进入窗口的信息更\"值钱\"——只请真正 relevant 的人进会议室。这也是**唯一不依赖模型结构的软件层方案**：不改模型一行权重，纯靠应用层工程。\n\n- **摘要\u002F压缩**：长历史压成短摘要或软提示向量——几长的前情用一页纪要代替。代表：gist tokens、RECOMP。\n- **检索增强（RAG）**：不把全部文档塞进上下文，按需检索相关片段——不请全员，谁有用请谁。代表：经典 RAG（DPR + LLM）、GraphRAG。\n- **记忆机制**：跨会话\u002F跨任务维护持久化记忆，需要时再取回——散会后档案入库，下次开会再调档。代表：MemGPT\u002FLetta、Recursive Summary Memory。\n\n---\n\n## 版图树状图\n\n```\nLLM 长上下文\n├── 1. 位置编码外推          ← 决定\"能不能\"扩（桌子够不够长）\n│   ├── RoPE 线性缩放 (PI)\n│   ├── NTK-aware 分频缩放\n│   └── YaRN（缩放+温度修正+微调）\n├── 2. 注意力效率            ← 决定\"算不算得起\"（谈不谈得动）\n│   ├── FlashAttention（工程加速）\n│   ├── GQA \u002F MQA（共享 KV 头）\n│   ├── 稀疏注意力（Longformer\u002F滑窗）\n│   └── 线性注意力（Linear Transformer\u002FMamba）\n├── 3. KV Cache 管理         ← 决定\"存不存得下\"（纪要放不放得下）\n│   ├── 量化（KIVI, INT4\u002F8）\n│   ├── 淘汰\u002F合并（H2O, StreamingLLM）\n│   └── 分页（PagedAttention \u002F vLLM）\n└── 4. 上下文压缩            ← 决定\"用不用得好\"（请谁进会议室）\n    ├── 摘要 \u002F 压缩（gist, RECOMP）\n    ├── 检索增强（RAG, GraphRAG）\n    └── 记忆机制（MemGPT）\n```\n\n## 依赖关系（关键！）\n\n| 技术对 | 关系 |\n|---|---|\n| 位置编码外推 ↔ 注意力效率 | **正交**：YaRN 扩窗与 FlashAttention 提速互不依赖，可任意组合——加长桌子和改进会议流程，两件事各干各的 |\n| 注意力效率 ↔ KV Cache 管理 | **强耦合**：GQA 直接减小 Cache 体积；PagedAttention 管理的是注意力产出的 KV；淘汰策略需与稀疏注意力模式兼容——谈的方式变了，纪要的记法也得跟着变 |\n| 位置编码外推 ↔ KV 管理 | **弱耦合**：StreamingLLM 的滑窗配合 RoPE 使用时依赖位置重编码（cache 内相对位置） |\n| 前三层 ↔ 上下文压缩 | **正交且互补**：压缩是软件层方案，不依赖模型结构；RAG 是\"上下文不够\"时工程上的终极兜底——前三层把会议室经营到极致，这一层干脆少请人 |\n\n**一句话总结**：1 和 2 解决\"扩展窗口\"（桌子加长、谈话提效），3 解决\"伺候窗口\"（纪要省着放），4 解决\"少用窗口\"（人少而精）——四者叠加才是现代 128K~1M 上下文模型的完整答案。\n","层级梳理长上下文四大技术分支，用「经营一间巨大会议室」的比喻贯穿：位置编码=会议桌长度、注意力=交谈开销、KV Cache=会议纪要、压缩=只请相关的人。",null,"AI教程","long-context, RoPE, FlashAttention, KV-Cache, RAG",true,"2026-09-03T09:20:11.000Z","2026-09-04T13:20:47.000Z",1794201854335]