互动课程:推测解码(Speculative Decoding)可视化教程
这是一门互动式可视化课程,用动画、对话和小测验带你理解推测解码——LLM 推理加速的主流技术。
课程包含 4 个模块:
- 为什么 LLM 生成很慢 — 自回归串行瓶颈,独臂书法家比喻
- 核心机制:起草与验证 — Draft/Target 双模型协作动画
- 数学保证与加速比 — 拒绝采样如何保证分布不变
- 变体演进 — Medusa、EAGLE、自推测解码
每个模块都有交互测验和代码翻译,无需任何背景知识。
这是一门互动式可视化课程,用动画、对话和小测验带你理解推测解码——LLM 推理加速的主流技术。
课程包含 4 个模块:
每个模块都有交互测验和代码翻译,无需任何背景知识。