大模型写字,为什么这么慢?
在学会加速之前,先搞清楚它慢在哪。
你肯定用过 ChatGPT 这类工具。你有没有注意到一个细节:它的回答是一个词一个词往外蹦的,而不是一次性全部出现?
这不是为了效果装的。它是真的只能这样生成。
模型在回答时,脑子里只有一个问题
「下一个词是什么?」
语言模型每一步只做一件事:看着已经写出的所有文字,预测下一个 token 最可能是什么。仅此而已。
「然后呢?然后再来一遍」
把刚猜出的词接到句子后面,再看一遍全文,再猜下一个。这个循环叫自回归生成。
一句话 = 几十次「完整的重算」
生成 100 个 token,就要完整跑 100 轮。每一轮都要动用模型里全部几千亿个参数——哪怕只为了挤出一个「的」字。
看「今天天气」
猜出「真」
看「今天天气真」
猜出「好」……
这个循环天然是串行的:第 50 个词必须等第 49 个词出来才能开始算。模型再大、显卡再快,也快不过「必须一步一步来」这条规则。
一个日常类比:独臂书法家
想象一位技艺登峰造极的书法家,写得每个字都堪称完美——但他只有一只手,一次只能写一个字,写完还要审视全卷才能落下一笔。文章再急,也得等他一个字一个字磨出来。
问题来了:他真的需要亲自写每一个字吗?
推测解码的答案 elegant 得出人意料:让一个「写字快的学徒」先写草稿,书法家只负责审稿。而审稿,恰好可以一次性批量完成。
检查一下你的理解
你的聊天机器人回复很慢。假设显卡没有被其他任务占用,最根本的瓶颈是什么?
模型生成 1 个 token 需要一次完整的前向计算。那么它「检查一段已经写好的 4 个 token 是否合理」,大约需要几次?
起草与验证
小模型猜,大模型判——推测解码的双人舞。
两位角色登场
小而快,比如只有 1B 参数。写得不完美,但一个 token 成本只有大模型的几十分之一,能一眨眼连写一串草稿。
大而强,比如 70B 参数。质量完美,但写得慢。它的关键特长是:审稿可以批量做——一次前向传播,同时验证一整串草稿。
大模型的算力就像一辆大巴:载 1 个人和载 5 个人,油耗差不多。既然生成注定一次只能「开一趟」,不如让小模型先塞满一车候选,让大巴一次验完。
看两位角色现场对话
用户输入「今天天气真」,看 draft 模型怎么抢答、target 模型怎么裁决:
完整流程,一步一步走
点击「下一步」,追踪一轮 draft-verify 循环:
裁决规则,用代码说清楚
for draft_token in draft_tokens:
r = random() # 0 到 1 的随机数
if r < min(1,
p_target[draft_token] / p_draft[draft_token]):
keep(draft_token) # 接受
else:
resample_from(
max(0, p_target - p_draft)
) # 拒绝后重采样
break # 后面草稿全部作废
逐个检查 draft 猜的每个 token……
掷一次骰子来决定是否接受这个 token……
如果 target 也觉得这个 token 不错(两个模型给它的概率越接近,越容易通过),就留下它……
骰子没过?那就不要了……
按「target 想要但 draft 没猜到」的修正分布,重新抽一个替代 token……
第一个被拒的位置之后,剩余草稿全部丢弃——它们的判断已经不可信了。
检查一下你的理解
某轮 draft 猜了 4 个 token,Target 检查后全部接受。这一轮「赚」了多少?
如果你是工程师,想提高推测解码的效率,最应该优化的方向是什么?
快,但一个字都不改
推测解码最惊人的地方:加速是「无损」的,而且能证明。
凭什么说「无损」?
直觉上,掺了小模型的草稿,结果应该会变差吧?但推测解码用了一套叫拒绝采样的统计学技巧,严格证明了:最终输出的每个 token,分布与 target 模型单独生成时一模一样。
换个说法:把推测解码的输出和 target 模型直接生成的输出放在一起,你无法从统计上区分它们。
「先大胆猜测,再一次性验证」是计算机科学的经典套路——缓存预取、CPU 分支预测、数据库查询优化都在用它。大胆猜很便宜,严格验证可以并行,猜对了就白赚。
公式的正确打开方式
别怕,这组公式其实只讲了三句话:
# 接受 draft 猜的 token x 的概率
P_accept(x) = min(1, p(x) / q(x))
# 被拒绝时,从「残差」重抽
p'(x) = norm(max(0, p(x) - q(x)))
# 最终输出的概率(两者相加)
P(x) = q(x)·min(1, p(x)/q(x))
+ P_reject · p'(x) = p(x)
p 是 target(终审者)的意见,q 是 draft(起草者)的意见……
draft 猜得和 target 一样好甚至更好 → 必过;猜得差 → 按「含金量」打折通过……
没通过的话,从「target 想要但 draft 没猜到」的缺口里补一个……
「draft 猜对被收下的」+「拒绝后补上的」,加起来严格等于 target 自己写的概率——这就是无损证明的核心(Leviathan 2023 / Chen 2023)。
加速多少?一个字母 α 说了算
设单 token 平均接受率为 α,每轮起草 γ 个 token,那么每轮期望收获的 token 数:
E[accepted] = (1 - α^(γ+1)) / (1 - α)
# 实际加速比(c 为 draft+验证的相对开销)
Speedup ≈ (1 - α^(γ+1)) / ((1 - α) · c)
每轮平均能「白拿」几个 token——α 越高、γ 越大,收获得越多……
减去跑 draft 模型自己的开销,就是净加速。典型配置(α=0.8、γ=4)实际加速约 2~3 倍。
亲手感受 α 的威力
调整滑块看每轮期望收获(γ = 4 个草稿):
滑动到高 α 区域你会发现:α 从 0.9 涨到 0.99 的收益,远不如从 0.5 涨到 0.6。加大 γ 也一样——这就是后面 Medusa、EAGLE 等变体存在的理由:把「猜得更准」做到极致。
检查一下你的理解
你接手了一个系统,发现 draft 模型很差(α ≈ 0,几乎没有草稿被接受)。输出质量会怎样?
你在做离线批处理,一次处理 10 万条文档,GPU 已经跑满。这时应该开推测解码吗?
家族进化史
从外挂学徒到自带草稿:Medusa、EAGLE 与更多。
经典方案的烦恼
模块 2 的方案有个工程上的软肋:你得单独维护一个小模型,还要保证它和 target「心意相通」(α 够高)。训练对齐麻烦、部署多一份显存、换大模型还得重新配。2024 年起,一系列变体从不同角度解决了这个问题:
Medusa(2024)
不要外挂学徒——在 target 自己身上长出多个解码头,一次并行预测未来多个 token,再配合树形注意力批量验证。
EAGLE 1/2/3(2024–2025)
升级猜想位置:不看输出层,而是在 target 的特征层做自回归起草。特征级预测更准,α 常 > 0.85,当前开源方案的标杆。
自推测解码
一个模型身兼两职:靠层跳跃(早期退出)或提示匹配(如 n-gram 查找)给自己起草。零额外模型,部署最简单。
树形推测 / 系统集成
多分支草稿提高覆盖面;vLLM、SGLang、TensorRT-LLM 已内置推测解码,与量化、连续批处理协同工作。
演进逻辑:一条主线
所有变体都在回答同一个问题——怎么把 α 做得更高、把部署做得更省:
独立的小 draft 模型。简单直观,但要训练对齐、额外部署。
去掉外挂模型,在 target 上加解码头,多头并行下注未来 token。
在特征层而非输出层起草——在想法成形前就预测,接受率显著更高。
同一模型自我起草,或直接内置于 vLLM 等推理引擎,按负载自适应开关。
用对话理解 EAGLE 为什么更强
为什么这值得你记住
从 2023 年两篇奠基论文(Google/DeepMind 与 OpenAI)到今天,推测解码已内置到几乎所有主流推理框架。ChatGPT、Gemini 响应迅速的背后,普遍有它的影子。
推测解码 = 用便宜的计算换昂贵的计算,且数学上保证输出不被污染。理解它,就是理解现代 LLM 推理系统设计的第一课。