← 全部文章
AI教程

LLM 推理加速技术版图:知识体系结构图

September 6, 2026 · 约 10 分钟 · 3745 字

教学笔记:LLM 推理加速技术版图(知识体系结构图)

日期:2026-09-05 | 主题:推理加速(Inference Acceleration)技术全景

总览:一条"出得快"的系统工程

让模型"答得快",从来不是靠某一项银弹,而是五个层面协同的系统工程。可以把 LLM 推理想象成经营一条工厂流水线:

  • 模型压缩决定工件本身有多轻——毛坯太重,后面每个工位都得白费力气搬运;
  • 注意力与算子优化决定核心工位干得多利索——注意力这道主工序算得慢,整条线都被卡脖子;
  • 解码策略决定一次出几件——一件一件磨固然稳,但如果能让老师傅先打样、质检员把关,就能一次出好几个;
  • 系统与调度决定流水线怎么排产——订单(请求)不排队、机器不空转、原料(KV Cache)不重复加工;
  • 硬件与编译决定车间的物理极限——再好的工艺,最后都要落到机器转多快。

按"从工件到车间"的顺序,这五层分别是:模型压缩 → 算子优化 → 解码策略 → 系统调度 → 硬件编译。


一、模型压缩(工件层)

问题:模型太大——参数动辄几十上百 B,显存放不下、带宽喂不饱,流水线还没开工就被毛坯压垮了。

核心思想:把模型变小变轻,且尽量不掉精度——减重是收益最直接的一层,其他层再优化也是在搬运你给的工件。

  • 量化:把权重从 FP16 压到 INT4/INT8,显存直降数倍——毛坯从实心钢换成轻量合金。代表:GPTQ、AWQ(激活感知量化,当前社区主流)。
  • 剪枝:砍掉不重要的权重或整层结构——拆掉流水线上闲置的工位。代表:SparseGPT、Llama-SP / Sheared LLaMA(结构化剪枝)。
  • 蒸馏:用大模型教出一个小模型,小模型学会大模型的"手感"——老师傅带出徒工,徒工工资低出活快。代表:DistilBERT(早期经典)、各闭源模型的小杯版本(如 GPT-4o-mini 类)。

二、注意力与算子优化(核心工位层)

工件轻了,下一个瓶颈是主工序:注意力计算是推理中最重的工位,而 decode 阶段更是显存带宽瓶颈——每个 token 都要把全部权重和 KV Cache 从显存搬一遍,机器大部分时间在"搬"而不是"算"。

核心思想:一条路"算得快"(重排计算、减少搬运),一条路"算得省"(直接砍掉冗余的 KV 结构)。

  • FlashAttention:数学不变、重排计算——分块 + 在线 softmax,避免显式物化 N×N 矩阵。好比改进工位布局,工序不变但工件不用来回搬。代表:FlashAttention 1/2/3。
  • PagedAttention:把 KV Cache 像操作系统内存一样分页管理——仓库不再整块预留,来多少放多少。代表:vLLM 的 PagedAttention(这里它也是系统层基石,见第四节)。
  • GQA / MQA:多个 Query 头共享一组 KV 头,直接缩小 KV Cache、降低带宽压力——几位操作工共用一份图纸。代表:MQA(PaLM)、GQA(Llama 2 70B / Llama 3 全系)。

三、解码策略(出件方式层)

工位够快了,还能从"出货方式"上做文章:自回归解码一次只出一个 token,GPU 的并行能力大量闲置——机器明明能同时干几件活,却在一件一件地磨。

核心思想:用"验证便宜、生成贵"的不对称性——先草率地多猜几个 token(猜错只损失一次验证),验证通过就一次出好几个。

  • 推测解码(Speculative Decoding):小模型快速起草、大模型逐个验证,拒绝时回退——学徒先打样,老师傅只做质检,质检比自己做快得多。代表:Leviathan et al. / DeepMind 同期工作,集成于 vLLM、TensorRT-LLM。
  • 多 token 预测头:训练额外的解码头直接一次预测多个 token,省去"借小模型"——给流水线加装多头同时出件。代表:Medusa、EAGLE-1/2/3。
  • 束搜索取舍:多路径并行探索看似更快出好结果,但对话场景要的是采样多样性且计算翻倍——流水线批量开分支,成本和收益要算清。实践:对话用采样(temperature/top-p),束搜索保留给翻译等有唯一最优解的任务。

四、系统与调度(排产层)

前面都是单件工件的优化,这一层管整条线的运转:真实服务同时面对成百上千个请求,GPU 若按老办法整批等待(static batching),先完成的工件也得在传送带上陪着慢的干等。

核心思想:让 GPU 永不空转——请求随到随插、工件做完即走、公共工序只做一次。

  • 连续批处理(Continuous Batching):每步解码后动态插入新请求、移除完成请求——传送带不停机,随下随上。代表:Orca(提出者)、vLLM、TGI。
  • 并行切分:张量并行(TP)把一层矩阵切到多卡同步算,流水线并行(PP)把不同层分给不同卡接力——前者像一道工序四台机器协同,后者像四段工位接力。代表:Megatron-LM(TP/PP 的事实标准)。
  • KV Cache 复用与前缀缓存:相同 system prompt / 前缀只算一次、多请求共享——同一张图纸不用每批工件重新绘制。代表:vLLM Prefix Caching、SGLang RadixAttention(前缀树复用)、LMCache。

五、硬件与编译(车间层)

最后一层落到物理世界:软件写得再好,最终要问机器转多快——Python 逐条调用算子的开销、算子融合不足、硬件特性没用上,都在白白浪费算力。

核心思想:把"模型描述"编译成"车间作业指令"——离线把整条流水线规划到指令级,让硬件特性(Tensor Core、FP8/INT8)被吃干榨净。

  • 端到端推理引擎:把量化、算子融合、KV 管理、调度打包成一套编译产物——直接交付一条调好的流水线。代表:TensorRT-LLM(NVIDIA)、llama.cpp(CPU/端侧)。
  • 算子融合:把多个小算子合并成一个大算子,减少显存往返——五个工位合并成一个复合机床,工件不出机床就完成五道工序。代表:FlashAttention 本质是融合算子、torch.compile 自动融合。
  • 低精度硬件支持:FP8/INT8 Tensor Core 让低精度不只是省显存,还直接提速——机床原生支持加工轻量合金,速度反而更快。代表:Hopper/Blackwell 架构 FP8、GPTQ/AWQ 的 INT4 W4A16 内核。

版图树状图

LLM 推理加速
├── 1. 模型压缩            ← 决定"工件有多重"(模型本身小不小)
│   ├── 量化(GPTQ, AWQ)
│   ├── 剪枝(SparseGPT, Sheared LLaMA)
│   └── 蒸馏(小杯模型)
├── 2. 注意力与算子优化     ← 决定"工位有多快"(核心工序卡不卡)
│   ├── FlashAttention(重排计算)
│   ├── PagedAttention(KV 分页)
│   └── GQA / MQA(共享 KV 头)
├── 3. 解码策略            ← 决定"一次出几件"(并行出 token)
│   ├── 推测解码(小模型起草+大模型验证)
│   ├── 多 token 预测(Medusa, EAGLE)
│   └── 束搜索取舍(任务适配)
├── 4. 系统与调度          ← 决定"产线怎么转"(GPU 不空转)
│   ├── 连续批处理(vLLM, Orca)
│   ├── TP / PP 并行(Megatron-LM)
│   └── 前缀缓存(Prefix Caching, RadixAttention)
└── 5. 硬件与编译          ← 决定"机器有多强"(物理极限)
    ├── 端到端引擎(TensorRT-LLM, llama.cpp)
    ├── 算子融合(torch.compile)
    └── FP8/INT8 硬件支持

依赖关系(关键!)

技术对 关系
模型压缩 ↔ 解码策略 正交且互促:量化后的模型照样能当推测解码的草稿模型,压缩让其他层搬运的工件更轻——毛坯减重与一次出多件,两件事各干各的
算子优化 ↔ 系统调度 强耦合:PagedAttention 既是算子技术又是 vLLM 调度的地基;连续批处理的收益依赖注意力算子足够快,否则批次越大单步越慢——工位不快,排产再好也堵车
解码策略 ↔ 系统调度 强耦合:推测解码改动 decode 循环结构,需要调度器配合(vLLM 的 spec decode 集成花了大量工程);前缀缓存对束搜索的多分支尤其友好——出件方式变了,排产逻辑得跟着改
前四层 ↔ 硬件编译 单向依赖:编译层是其他所有层的落点——量化内核、融合算子、FP8 都要硬件支持才兑现;反过来编译层不改变算法语义,只决定"跑多快"——工艺再好,最终看机床

一句话总结:1 解决"模型轻"(工件减重),2 解决"算得快"(工位提速),3 解决"出得多"(并行出件),4 解决"转得满"(产线排产),5 解决"跑得动"(机器落地)——五层叠加,才有了今天"每 token 成本一年降十倍"的推理经济学。

inference-accelerationvLLMFlashAttentionspeculative-decodingquantization