[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$f8RXcXQ-9UaddICHNsRelHvspCOmOqb7Uly8YPxoqgIk":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},7,"推测解码（Speculative Decoding）：三种难度全解析","speculative-decoding-three-levels","# 教学笔记：推测解码（Speculative Decoding）三种难度解读\n\n\u003C!-- reviewed: 2026-09-27 -->\n\n*2026-09-03*\n\n---\n\n## 🟢 入门版（生活比喻）\n\n想象你在写一篇长文章，身边有一位写得飞快但水平一般的实习生（草稿模型），还有一位经验丰富但写得慢的老主编（大模型）。\n\n聪明的做法是：让实习生先一口气写出五个句子，然后老主编不用一个字一个字地自己写，而是快速扫一遍这五个句子——写对的就留下，写错的只修改那一个地方，后面的照常继续。这样老主编大部分时间只做\"批改\"，而不是\"从零写作\"，一篇文章出炉的速度大大加快了，而文章的质量仍然是老主编把关的水准。\n\n推测解码就是这个思路：小模型快速猜，大模型快速验证。**质量不降，速度起飞。**\n\n这个比喻里藏着两个工程问题：老主编凭什么敢「只改一个字」就放过整句？加速到底能快多少？下面两节给出严格答案。\n\n---\n\n## 🟡 中级版（核心机制）\n\n推测解码用到两个模型：\n\n- **Draft 模型**（小而快，如 1B 参数）：一次自回归地起草 k 个 token\n- **Target 模型**（大而强，如 70B 参数）：一次前向传播**并行**验证这 k 个 token\n\n### 流程示意\n\n```\nDraft:   [t1] → [t2] → [t3] → [t4]   （逐个生成，很快）\nTarget:  [    一次并行前向验证 t1~t4  ] （慢，但一次算完）\n         ├─ 接受的 token：直接采纳\n         └─ 第一个被拒绝的 token：由 target 自己重新采样，\n            后续 draft token 全部丢弃，从下轮重新起草\n```\n\n关键点：\n\n1. **并行验证**：大模型验证 k 个 token 的成本约等于生成 1 个 token（一次前向），这就是加速的来源。\n2. **拒绝采样保证分布不变**：接受 draft token x 的概率为 `min(1, p_target(x) \u002F p_draft(x))`；若被拒绝，则按修正后的分布 `norm(max(0, p_target − p_draft))` 重新采样一个替代 token。可以证明，最终输出的分布与单独用 target 模型生成的分布**完全一致**。\n3. **加速比**取决于接受率：draft 模型越接近 target 的输出分布，接受率越高，速度越快。极端情况下接受率 0，最坏也只是退化为普通解码（不慢太多）。\n\n一句话总结：**用便宜的计算换昂贵的计算，且数学上保证输出分布不被「污染」。**「数学上保证」这五个字不是修辞——下一节直接把证明写出来。\n\n---\n\n## 🔴 高级版（数学保证、公式与变体）\n\n### 1. 拒绝采样的数学保证\n\n设 target 分布为 `p(x)`，draft 分布为 `q(x)`。接受概率：\n\n```\nP_accept(x) = min(1, p(x) \u002F q(x))\n```\n\n被拒绝时，从残差分布采样：\n\n```\np'(x) = norm(max(0, p(x) − q(x)))\n```\n\n对任意 token x，最终被输出的概率：\n\n```\nP(x) = q(x)·min(1, p(x)\u002Fq(x)) + P_reject · p'(x) = p(x)\n```\n\n即**输出分布严格等于 target 分布**——这是\"无损加速\"的证明核心（Leviathan et al. 2023, Chen et al. 2023）。\n\n### 2. 接受率与加速比\n\n设单 token 平均接受率为 α（draft 与 target 分布越接近 α 越高），每轮起草 γ 个 token，期望接受 token 数：\n\n```\nE[accepted] = (1 − α^(γ+1)) \u002F (1 − α)\n```\n\n加速比（忽略验证开销的近似）：\n\n```\nSpeedup ≈ (1 − α^(γ+1)) \u002F ((1 − α) · c)\n```\n\n其中 c 为 draft+验证的相对开销系数。α=0.8、γ=4 时通常可达 2~3 倍实际加速。注意分子里 α 的指数：γ 每加 1，收益就乘一次 α——接受率 0.8 的 draft，草稿越长边际收益衰减越快。**α 对 γ 呈收益递减**，这正是后续变体要解决的核心矛盾：与其拉长草稿，不如提高接受率。\n\n### 3. 主要变体（2023–2026 演进）\n\n- **Medusa**（2024）：不在 target 模型外挂 draft 模型，而是在 target 上加多个解码头并行预测多个未来 token，配合树形注意力验证。免去维护独立小模型的麻烦。\n- **EAGLE \u002F EAGLE-2 \u002F EAGLE-3**（2024–2025）：在 target 模型的特征层（而非输出层）做自回归 draft。直觉是：输出层 token 分布噪声大，特征层信息更丰富，所以特征级预测更准，接受率显著更高（常见 α > 0.85），是当前开源方案中的标杆——注意它走的是「提高 α」这条路线，而非加长草稿。\n- **自推测解码（Self-Speculative \u002F Draft & Verify within one model）**：同一个大模型通过层跳跃（早期退出）或提示条件（如 prompt lookup、n-gram 匹配）为自己起草，无需第二个模型，部署最简单。\n- 其他分支：**树形推测**（多分支草稿提高覆盖）、**块状\u002F并行 draft**、以及与量化、连续批处理结合的系统级方案（如 vLLM、TensorRT-LLM 中的集成实现）。\n\n### 4. 与 batch 推理的权衡\n\n推测解码的本质是**用算力换延迟**：单请求延迟显著下降，但每次验证引入的额外 FLOPs 会挤占 batch 空间。因此：\n\n- **低负载 \u002F 单用户交互**（聊天、Agent 循环）：batch 小、GPU 算力富余，推测解码收益最大。\n- **高吞吐离线批处理**：batch 已经很大、GPU 是瓶颈时，验证开销可能反而降低总吞吐，许多推理系统会在高并发时自动关闭或动态调整推测解码。\n- 工程实践中的常见做法是**自适应推测**：根据实时 batch 大小和接受率动态开关或调整 draft 长度 γ。\n\n---\n\n## 为什么重要\n\n如果只记住一件事，那就是：推测解码证明了「加速」与「无损」可以共存——这是它区别于量化、剪枝等有损加速手段的根本特征。\n\n从 2023 年 Google\u002FDeepMind 与 OpenAI 的两篇奠基论文开始，推测解码已经从学术技巧成长为 **2023–2026 年大模型推理加速的主流手段之一**：它被内置到 vLLM、SGLang、TensorRT-LLM 等几乎所有主流推理框架中，ChatGPT、Gemini 等商用服务普遍采用类似技术降低响应延迟。在\"大模型越来越大、用户越来越要求即时响应\"的时代，它提供了一个几乎免费的性能红利——**输出质量数学上不变，速度成倍提升**。理解推测解码，就是理解现代 LLM 推理系统设计的第一课。\n","用三种难度解释推测解码：实习生起草+主编批改的比喻、拒绝采样机制、分布不变性证明与 Medusa\u002FEAGLE 变体演进。",null,"AI教程","speculative-decoding, inference-acceleration, EAGLE, Medusa",true,"2026-09-03T13:19:34.000Z","2026-09-27T11:43:51.000Z",1794201855577]