推测解码(Speculative Decoding):三种难度全解析
教学笔记:推测解码(Speculative Decoding)三种难度解读
2026-09-03
🟢 入门版(生活比喻)
想象你在写一篇长文章,身边有一位写得飞快但水平一般的实习生(草稿模型),还有一位经验丰富但写得慢的老主编(大模型)。
聪明的做法是:让实习生先一口气写出五个句子,然后老主编不用一个字一个字地自己写,而是快速扫一遍这五个句子——写对的就留下,写错的只修改那一个地方,后面的照常继续。这样老主编大部分时间只做"批改",而不是"从零写作",一篇文章出炉的速度大大加快了,而文章的质量仍然是老主编把关的水准。
推测解码就是这个思路:小模型快速猜,大模型快速验证。质量不降,速度起飞。
这个比喻里藏着两个工程问题:老主编凭什么敢「只改一个字」就放过整句?加速到底能快多少?下面两节给出严格答案。
🟡 中级版(核心机制)
推测解码用到两个模型:
- Draft 模型(小而快,如 1B 参数):一次自回归地起草 k 个 token
- Target 模型(大而强,如 70B 参数):一次前向传播并行验证这 k 个 token
流程示意
Draft: [t1] → [t2] → [t3] → [t4] (逐个生成,很快)
Target: [ 一次并行前向验证 t1~t4 ] (慢,但一次算完)
├─ 接受的 token:直接采纳
└─ 第一个被拒绝的 token:由 target 自己重新采样,
后续 draft token 全部丢弃,从下轮重新起草
关键点:
- 并行验证:大模型验证 k 个 token 的成本约等于生成 1 个 token(一次前向),这就是加速的来源。
- 拒绝采样保证分布不变:接受 draft token x 的概率为
min(1, p_target(x) / p_draft(x));若被拒绝,则按修正后的分布norm(max(0, p_target − p_draft))重新采样一个替代 token。可以证明,最终输出的分布与单独用 target 模型生成的分布完全一致。 - 加速比取决于接受率:draft 模型越接近 target 的输出分布,接受率越高,速度越快。极端情况下接受率 0,最坏也只是退化为普通解码(不慢太多)。
一句话总结:用便宜的计算换昂贵的计算,且数学上保证输出分布不被「污染」。「数学上保证」这五个字不是修辞——下一节直接把证明写出来。
🔴 高级版(数学保证、公式与变体)
1. 拒绝采样的数学保证
设 target 分布为 p(x),draft 分布为 q(x)。接受概率:
P_accept(x) = min(1, p(x) / q(x))
被拒绝时,从残差分布采样:
p'(x) = norm(max(0, p(x) − q(x)))
对任意 token x,最终被输出的概率:
P(x) = q(x)·min(1, p(x)/q(x)) + P_reject · p'(x) = p(x)
即输出分布严格等于 target 分布——这是"无损加速"的证明核心(Leviathan et al. 2023, Chen et al. 2023)。
2. 接受率与加速比
设单 token 平均接受率为 α(draft 与 target 分布越接近 α 越高),每轮起草 γ 个 token,期望接受 token 数:
E[accepted] = (1 − α^(γ+1)) / (1 − α)
加速比(忽略验证开销的近似):
Speedup ≈ (1 − α^(γ+1)) / ((1 − α) · c)
其中 c 为 draft+验证的相对开销系数。α=0.8、γ=4 时通常可达 2~3 倍实际加速。注意分子里 α 的指数:γ 每加 1,收益就乘一次 α——接受率 0.8 的 draft,草稿越长边际收益衰减越快。α 对 γ 呈收益递减,这正是后续变体要解决的核心矛盾:与其拉长草稿,不如提高接受率。
3. 主要变体(2023–2026 演进)
- Medusa(2024):不在 target 模型外挂 draft 模型,而是在 target 上加多个解码头并行预测多个未来 token,配合树形注意力验证。免去维护独立小模型的麻烦。
- EAGLE / EAGLE-2 / EAGLE-3(2024–2025):在 target 模型的特征层(而非输出层)做自回归 draft。直觉是:输出层 token 分布噪声大,特征层信息更丰富,所以特征级预测更准,接受率显著更高(常见 α > 0.85),是当前开源方案中的标杆——注意它走的是「提高 α」这条路线,而非加长草稿。
- 自推测解码(Self-Speculative / Draft & Verify within one model):同一个大模型通过层跳跃(早期退出)或提示条件(如 prompt lookup、n-gram 匹配)为自己起草,无需第二个模型,部署最简单。
- 其他分支:树形推测(多分支草稿提高覆盖)、块状/并行 draft、以及与量化、连续批处理结合的系统级方案(如 vLLM、TensorRT-LLM 中的集成实现)。
4. 与 batch 推理的权衡
推测解码的本质是用算力换延迟:单请求延迟显著下降,但每次验证引入的额外 FLOPs 会挤占 batch 空间。因此:
- 低负载 / 单用户交互(聊天、Agent 循环):batch 小、GPU 算力富余,推测解码收益最大。
- 高吞吐离线批处理:batch 已经很大、GPU 是瓶颈时,验证开销可能反而降低总吞吐,许多推理系统会在高并发时自动关闭或动态调整推测解码。
- 工程实践中的常见做法是自适应推测:根据实时 batch 大小和接受率动态开关或调整 draft 长度 γ。
为什么重要
如果只记住一件事,那就是:推测解码证明了「加速」与「无损」可以共存——这是它区别于量化、剪枝等有损加速手段的根本特征。
从 2023 年 Google/DeepMind 与 OpenAI 的两篇奠基论文开始,推测解码已经从学术技巧成长为 2023–2026 年大模型推理加速的主流手段之一:它被内置到 vLLM、SGLang、TensorRT-LLM 等几乎所有主流推理框架中,ChatGPT、Gemini 等商用服务普遍采用类似技术降低响应延迟。在"大模型越来越大、用户越来越要求即时响应"的时代,它提供了一个几乎免费的性能红利——输出质量数学上不变,速度成倍提升。理解推测解码,就是理解现代 LLM 推理系统设计的第一课。