[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fg6rU3qOnQ3O-XMYoz2wwskrLWgYg4yixIP3nIhk1O6o":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},20,"LLM 推理加速技术版图：知识体系结构图","llm-inference-acceleration-landscape","\u003C!-- reviewed: 2026-09-05 -->\n\n# 教学笔记：LLM 推理加速技术版图（知识体系结构图）\n\n> 日期：2026-09-05 ｜ 主题：推理加速（Inference Acceleration）技术全景\n\n## 总览：一条\"出得快\"的系统工程\n\n让模型\"答得快\"，从来不是靠某一项银弹，而是五个层面协同的系统工程。可以把 LLM 推理想象成**经营一条工厂流水线**：\n\n- **模型压缩**决定工件本身有多轻——毛坯太重，后面每个工位都得白费力气搬运；\n- **注意力与算子优化**决定核心工位干得多利索——注意力这道主工序算得慢，整条线都被卡脖子；\n- **解码策略**决定一次出几件——一件一件磨固然稳，但如果能让老师傅先打样、质检员把关，就能一次出好几个；\n- **系统与调度**决定流水线怎么排产——订单（请求）不排队、机器不空转、原料（KV Cache）不重复加工；\n- **硬件与编译**决定车间的物理极限——再好的工艺，最后都要落到机器转多快。\n\n按\"从工件到车间\"的顺序，这五层分别是：**模型压缩 → 算子优化 → 解码策略 → 系统调度 → 硬件编译**。\n\n---\n\n## 一、模型压缩（工件层）\n\n**问题**：模型太大——参数动辄几十上百 B，显存放不下、带宽喂不饱，流水线还没开工就被毛坯压垮了。\n\n**核心思想**：把模型变小变轻，且尽量不掉精度——**减重是收益最直接的一层，其他层再优化也是在搬运你给的工件**。\n\n- **量化**：把权重从 FP16 压到 INT4\u002FINT8，显存直降数倍——毛坯从实心钢换成轻量合金。代表：GPTQ、AWQ（激活感知量化，当前社区主流）。\n- **剪枝**：砍掉不重要的权重或整层结构——拆掉流水线上闲置的工位。代表：SparseGPT、Llama-SP \u002F Sheared LLaMA（结构化剪枝）。\n- **蒸馏**：用大模型教出一个小模型，小模型学会大模型的\"手感\"——老师傅带出徒工，徒工工资低出活快。代表：DistilBERT（早期经典）、各闭源模型的小杯版本（如 GPT-4o-mini 类）。\n\n---\n\n## 二、注意力与算子优化（核心工位层）\n\n工件轻了，下一个瓶颈是主工序：注意力计算是推理中最重的工位，而 decode 阶段更是**显存带宽瓶颈**——每个 token 都要把全部权重和 KV Cache 从显存搬一遍，机器大部分时间在\"搬\"而不是\"算\"。\n\n**核心思想**：一条路\"算得快\"（重排计算、减少搬运），一条路\"算得省\"（直接砍掉冗余的 KV 结构）。\n\n- **FlashAttention**：数学不变、重排计算——分块 + 在线 softmax，避免显式物化 N×N 矩阵。好比改进工位布局，工序不变但工件不用来回搬。代表：FlashAttention 1\u002F2\u002F3。\n- **PagedAttention**：把 KV Cache 像操作系统内存一样分页管理——仓库不再整块预留，来多少放多少。代表：vLLM 的 PagedAttention（这里它也是系统层基石，见第四节）。\n- **GQA \u002F MQA**：多个 Query 头共享一组 KV 头，直接缩小 KV Cache、降低带宽压力——几位操作工共用一份图纸。代表：MQA（PaLM）、GQA（Llama 2 70B \u002F Llama 3 全系）。\n\n---\n\n## 三、解码策略（出件方式层）\n\n工位够快了，还能从\"出货方式\"上做文章：自回归解码一次只出一个 token，GPU 的并行能力大量闲置——机器明明能同时干几件活，却在一件一件地磨。\n\n**核心思想**：**用\"验证便宜、生成贵\"的不对称性**——先草率地多猜几个 token（猜错只损失一次验证），验证通过就一次出好几个。\n\n- **推测解码（Speculative Decoding）**：小模型快速起草、大模型逐个验证，拒绝时回退——学徒先打样，老师傅只做质检，质检比自己做快得多。代表：Leviathan et al. \u002F DeepMind 同期工作，集成于 vLLM、TensorRT-LLM。\n- **多 token 预测头**：训练额外的解码头直接一次预测多个 token，省去\"借小模型\"——给流水线加装多头同时出件。代表：Medusa、EAGLE-1\u002F2\u002F3。\n- **束搜索取舍**：多路径并行探索看似更快出好结果，但对话场景要的是采样多样性且计算翻倍——流水线批量开分支，成本和收益要算清。实践：对话用采样（temperature\u002Ftop-p），束搜索保留给翻译等有唯一最优解的任务。\n\n---\n\n## 四、系统与调度（排产层）\n\n前面都是单件工件的优化，这一层管整条线的运转：真实服务同时面对成百上千个请求，GPU 若按老办法整批等待（static batching），先完成的工件也得在传送带上陪着慢的干等。\n\n**核心思想**：**让 GPU 永不空转**——请求随到随插、工件做完即走、公共工序只做一次。\n\n- **连续批处理（Continuous Batching）**：每步解码后动态插入新请求、移除完成请求——传送带不停机，随下随上。代表：Orca（提出者）、vLLM、TGI。\n- **并行切分**：张量并行（TP）把一层矩阵切到多卡同步算，流水线并行（PP）把不同层分给不同卡接力——前者像一道工序四台机器协同，后者像四段工位接力。代表：Megatron-LM（TP\u002FPP 的事实标准）。\n- **KV Cache 复用与前缀缓存**：相同 system prompt \u002F 前缀只算一次、多请求共享——同一张图纸不用每批工件重新绘制。代表：vLLM Prefix Caching、SGLang RadixAttention（前缀树复用）、LMCache。\n\n---\n\n## 五、硬件与编译（车间层）\n\n最后一层落到物理世界：软件写得再好，最终要问机器转多快——Python 逐条调用算子的开销、算子融合不足、硬件特性没用上，都在白白浪费算力。\n\n**核心思想**：**把\"模型描述\"编译成\"车间作业指令\"**——离线把整条流水线规划到指令级，让硬件特性（Tensor Core、FP8\u002FINT8）被吃干榨净。\n\n- **端到端推理引擎**：把量化、算子融合、KV 管理、调度打包成一套编译产物——直接交付一条调好的流水线。代表：TensorRT-LLM（NVIDIA）、llama.cpp（CPU\u002F端侧）。\n- **算子融合**：把多个小算子合并成一个大算子，减少显存往返——五个工位合并成一个复合机床，工件不出机床就完成五道工序。代表：FlashAttention 本质是融合算子、torch.compile 自动融合。\n- **低精度硬件支持**：FP8\u002FINT8 Tensor Core 让低精度不只是省显存，还直接提速——机床原生支持加工轻量合金，速度反而更快。代表：Hopper\u002FBlackwell 架构 FP8、GPTQ\u002FAWQ 的 INT4 W4A16 内核。\n\n---\n\n## 版图树状图\n\n```\nLLM 推理加速\n├── 1. 模型压缩            ← 决定\"工件有多重\"（模型本身小不小）\n│   ├── 量化（GPTQ, AWQ）\n│   ├── 剪枝（SparseGPT, Sheared LLaMA）\n│   └── 蒸馏（小杯模型）\n├── 2. 注意力与算子优化     ← 决定\"工位有多快\"（核心工序卡不卡）\n│   ├── FlashAttention（重排计算）\n│   ├── PagedAttention（KV 分页）\n│   └── GQA \u002F MQA（共享 KV 头）\n├── 3. 解码策略            ← 决定\"一次出几件\"（并行出 token）\n│   ├── 推测解码（小模型起草+大模型验证）\n│   ├── 多 token 预测（Medusa, EAGLE）\n│   └── 束搜索取舍（任务适配）\n├── 4. 系统与调度          ← 决定\"产线怎么转\"（GPU 不空转）\n│   ├── 连续批处理（vLLM, Orca）\n│   ├── TP \u002F PP 并行（Megatron-LM）\n│   └── 前缀缓存（Prefix Caching, RadixAttention）\n└── 5. 硬件与编译          ← 决定\"机器有多强\"（物理极限）\n    ├── 端到端引擎（TensorRT-LLM, llama.cpp）\n    ├── 算子融合（torch.compile）\n    └── FP8\u002FINT8 硬件支持\n```\n\n## 依赖关系（关键！）\n\n| 技术对 | 关系 |\n|---|---|\n| 模型压缩 ↔ 解码策略 | **正交且互促**：量化后的模型照样能当推测解码的草稿模型，压缩让其他层搬运的工件更轻——毛坯减重与一次出多件，两件事各干各的 |\n| 算子优化 ↔ 系统调度 | **强耦合**：PagedAttention 既是算子技术又是 vLLM 调度的地基；连续批处理的收益依赖注意力算子足够快，否则批次越大单步越慢——工位不快，排产再好也堵车 |\n| 解码策略 ↔ 系统调度 | **强耦合**：推测解码改动 decode 循环结构，需要调度器配合（vLLM 的 spec decode 集成花了大量工程）；前缀缓存对束搜索的多分支尤其友好——出件方式变了，排产逻辑得跟着改 |\n| 前四层 ↔ 硬件编译 | **单向依赖**：编译层是其他所有层的落点——量化内核、融合算子、FP8 都要硬件支持才兑现；反过来编译层不改变算法语义，只决定\"跑多快\"——工艺再好，最终看机床 |\n\n**一句话总结**：1 解决\"模型轻\"（工件减重），2 解决\"算得快\"（工位提速），3 解决\"出得多\"（并行出件），4 解决\"转得满\"（产线排产），5 解决\"跑得动\"（机器落地）——五层叠加，才有了今天\"每 token 成本一年降十倍\"的推理经济学。\n","用工厂流水线比喻贯穿推理加速五大分支：模型压缩、算子优化、解码策略、系统调度、硬件编译，附正交\u002F依赖关系表与树状图。",null,"AI教程","inference-acceleration, vLLM, FlashAttention, speculative-decoding, quantization",true,"2026-09-05T17:21:13.000Z",1794201863550]