01

大模型写字,为什么这么慢?

在学会加速之前,先搞清楚它慢在哪。

你肯定用过 ChatGPT 这类工具。你有没有注意到一个细节:它的回答是一个词一个词往外蹦的,而不是一次性全部出现?

这不是为了效果装的。它是真的只能这样生成。

模型在回答时,脑子里只有一个问题

🎲

「下一个词是什么?」

语言模型每一步只做一件事:看着已经写出的所有文字,预测下一个 token 最可能是什么。仅此而已。

🔁

「然后呢?然后再来一遍」

把刚猜出的词接到句子后面,再看一遍全文,再猜下一个。这个循环叫自回归生成。

一句话 = 几十次「完整的重算」

生成 100 个 token,就要完整跑 100 轮。每一轮都要动用模型里全部几千亿个参数——哪怕只为了挤出一个「的」字。

1

看「今天天气」

→
2

猜出「真」

→
3

看「今天天气真」

→
4

猜出「好」……

💡
关键瓶颈

这个循环天然是串行的:第 50 个词必须等第 49 个词出来才能开始算。模型再大、显卡再快,也快不过「必须一步一步来」这条规则。

一个日常类比:独臂书法家

想象一位技艺登峰造极的书法家,写得每个字都堪称完美——但他只有一只手,一次只能写一个字,写完还要审视全卷才能落下一笔。文章再急,也得等他一个字一个字磨出来。

问题来了:他真的需要亲自写每一个字吗?

🤔
带着这个问题进入下一模块

推测解码的答案 elegant 得出人意料:让一个「写字快的学徒」先写草稿,书法家只负责审稿。而审稿,恰好可以一次性批量完成。

检查一下你的理解

你的聊天机器人回复很慢。假设显卡没有被其他任务占用,最根本的瓶颈是什么?

模型生成 1 个 token 需要一次完整的前向计算。那么它「检查一段已经写好的 4 个 token 是否合理」,大约需要几次?

02

起草与验证

小模型猜,大模型判——推测解码的双人舞。

两位角色登场

✏️
Draft 模型(起草者)

小而快,比如只有 1B 参数。写得不完美,但一个 token 成本只有大模型的几十分之一,能一眨眼连写一串草稿。

🏛️
Target 模型(终审者)

大而强,比如 70B 参数。质量完美,但写得慢。它的关键特长是:审稿可以批量做——一次前向传播,同时验证一整串草稿。

💡
关键洞察

大模型的算力就像一辆大巴:载 1 个人和载 5 个人,油耗差不多。既然生成注定一次只能「开一趟」,不如让小模型先塞满一车候选,让大巴一次验完。

看两位角色现场对话

用户输入「今天天气真」,看 draft 模型怎么抢答、target 模型怎么裁决:

完整流程,一步一步走

点击「下一步」,追踪一轮 draft-verify 循环:

✏️
Draft
🏛️
Target
点击「下一步」开始

裁决规则,用代码说清楚

伪代码

for draft_token in draft_tokens:
  r = random()  # 0 到 1 的随机数
  if r < min(1,
        p_target[draft_token] / p_draft[draft_token]):
    keep(draft_token)      # 接受
  else:
    resample_from(
      max(0, p_target - p_draft)
    )                       # 拒绝后重采样
    break                  # 后面草稿全部作废
          
大白话

逐个检查 draft 猜的每个 token……

掷一次骰子来决定是否接受这个 token……

如果 target 也觉得这个 token 不错(两个模型给它的概率越接近,越容易通过),就留下它……

骰子没过?那就不要了……

按「target 想要但 draft 没猜到」的修正分布,重新抽一个替代 token……

第一个被拒的位置之后,剩余草稿全部丢弃——它们的判断已经不可信了。

检查一下你的理解

某轮 draft 猜了 4 个 token,Target 检查后全部接受。这一轮「赚」了多少?

如果你是工程师,想提高推测解码的效率,最应该优化的方向是什么?

03

快,但一个字都不改

推测解码最惊人的地方:加速是「无损」的,而且能证明。

凭什么说「无损」?

直觉上,掺了小模型的草稿,结果应该会变差吧?但推测解码用了一套叫拒绝采样的统计学技巧,严格证明了:最终输出的每个 token,分布与 target 模型单独生成时一模一样。

换个说法:把推测解码的输出和 target 模型直接生成的输出放在一起,你无法从统计上区分它们。

💡
通用洞察:验证比生成便宜

「先大胆猜测,再一次性验证」是计算机科学的经典套路——缓存预取、CPU 分支预测、数据库查询优化都在用它。大胆猜很便宜,严格验证可以并行,猜对了就白赚。

公式的正确打开方式

别怕,这组公式其实只讲了三句话:

公式

# 接受 draft 猜的 token x 的概率
P_accept(x) = min(1, p(x) / q(x))

# 被拒绝时,从「残差」重抽
p'(x) = norm(max(0, p(x) - q(x)))

# 最终输出的概率(两者相加)
P(x) = q(x)·min(1, p(x)/q(x))
       + P_reject · p'(x)  =  p(x)
          
大白话

p 是 target(终审者)的意见,q 是 draft(起草者)的意见……

draft 猜得和 target 一样好甚至更好 → 必过;猜得差 → 按「含金量」打折通过……

没通过的话,从「target 想要但 draft 没猜到」的缺口里补一个……

「draft 猜对被收下的」+「拒绝后补上的」,加起来严格等于 target 自己写的概率——这就是无损证明的核心(Leviathan 2023 / Chen 2023)。

加速多少?一个字母 α 说了算

设单 token 平均接受率为 α,每轮起草 γ 个 token,那么每轮期望收获的 token 数:

公式

E[accepted] = (1 - α^(γ+1)) / (1 - α)

# 实际加速比(c 为 draft+验证的相对开销)
Speedup ≈ (1 - α^(γ+1)) / ((1 - α) · c)
          
大白话

每轮平均能「白拿」几个 token——α 越高、γ 越大,收获得越多……

减去跑 draft 模型自己的开销,就是净加速。典型配置(α=0.8、γ=4)实际加速约 2~3 倍。

亲手感受 α 的威力

调整滑块看每轮期望收获(γ = 4 个草稿):

3.39
每轮期望接受 token 数
收益不错 🚀
相当于每次 Target 出手都收获 3 个以上 token
📉
注意收益递减

滑动到高 α 区域你会发现:α 从 0.9 涨到 0.99 的收益,远不如从 0.5 涨到 0.6。加大 γ 也一样——这就是后面 Medusa、EAGLE 等变体存在的理由:把「猜得更准」做到极致。

检查一下你的理解

你接手了一个系统,发现 draft 模型很差(α ≈ 0,几乎没有草稿被接受)。输出质量会怎样?

你在做离线批处理,一次处理 10 万条文档,GPU 已经跑满。这时应该开推测解码吗?

04

家族进化史

从外挂学徒到自带草稿:Medusa、EAGLE 与更多。

经典方案的烦恼

模块 2 的方案有个工程上的软肋:你得单独维护一个小模型,还要保证它和 target「心意相通」(α 够高)。训练对齐麻烦、部署多一份显存、换大模型还得重新配。2024 年起,一系列变体从不同角度解决了这个问题:

🐍

Medusa(2024)

不要外挂学徒——在 target 自己身上长出多个解码头,一次并行预测未来多个 token,再配合树形注意力批量验证。

🦅

EAGLE 1/2/3(2024–2025)

升级猜想位置:不看输出层,而是在 target 的特征层做自回归起草。特征级预测更准,α 常 > 0.85,当前开源方案的标杆。

🪞

自推测解码

一个模型身兼两职:靠层跳跃(早期退出)或提示匹配(如 n-gram 查找)给自己起草。零额外模型,部署最简单。

🌳

树形推测 / 系统集成

多分支草稿提高覆盖面;vLLM、SGLang、TensorRT-LLM 已内置推测解码,与量化、连续批处理协同工作。

演进逻辑:一条主线

所有变体都在回答同一个问题——怎么把 α 做得更高、把部署做得更省:

1
经典方案:另请一位学徒

独立的小 draft 模型。简单直观,但要训练对齐、额外部署。

2
Medusa:让终审者自己长出几只手

去掉外挂模型,在 target 上加解码头,多头并行下注未来 token。

3
EAGLE:下注位置挪到「思考层」

在特征层而非输出层起草——在想法成形前就预测,接受率显著更高。

4
自推测 + 系统级:无处不在

同一模型自我起草,或直接内置于 vLLM 等推理引擎,按负载自适应开关。

用对话理解 EAGLE 为什么更强

为什么这值得你记住

从 2023 年两篇奠基论文(Google/DeepMind 与 OpenAI)到今天,推测解码已内置到几乎所有主流推理框架。ChatGPT、Gemini 响应迅速的背后,普遍有它的影子。

💡
一句话带走整个课程

推测解码 = 用便宜的计算换昂贵的计算,且数学上保证输出不被污染。理解它,就是理解现代 LLM 推理系统设计的第一课。

毕业检验:综合决策

你要为「个人 AI 助理 App」(单用户聊天,GPU 有富余)和「日均亿级请求的 API 服务」分别选择推理策略。推测解码更适合谁?

从经典方案到 Medusa 再到 EAGLE,这条演进线背后不变的追求是什么?