[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fkVrmxMLDDQIj7O9ZUJvKlWerfXDbHhny2ySjUkRjQks":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},38,"扩散模型（Diffusion Models）知识体系","diffusion-models-knowledge-map","# 扩散模型（Diffusion Models）知识体系\n\n> 🐱 金豆整理 · 2026-04-02\n\n---\n\n## 一、核心理论基础\n\n### 1.1 前向扩散过程（加噪）\n- **定义**：逐步向数据添加高斯噪声，形成马尔可夫链\n- **公式**：`q(x_t | x_{t-1}) = N(x_t; √(1-β_t) x_{t-1}, β_t I)`\n- **关键性质**：任意时刻 `x_t` 的闭式解 `q(x_t | x_0) = N(x_t; √ᾱ_t x_0, (1-ᾱ_t)I)`\n- **噪声调度**：线性调度、余弦调度、sigmoid 调度\n\n### 1.2 反向去噪过程（生成）\n- **目标**：学习逆向马尔可夫链 `p_θ(x_t-1 | x_t)`\n- **参数化**：用神经网络预测噪声 `ε_θ(x_t, t)` 或直接预测 `x_0`\n- **核心等式**：`x_t-1 = (1)\u002F(√(α_t)(x_t - (β_t)\u002F(√(1-\\barα_t)ε_θ(x_t, t)) + σ_t z`\n\n### 1.3 变分推断框架\n- **证据下界（ELBO）**：最大化 `log p_θ(x)` 的下界\n- **损失分解**：重建项 `L_0`、先验匹配项 `L_T`、去噪匹配项 `Σ_t=1^T L_t`\n- **简化损失**：`L_simple = E_t,x_0,ε[\\|ε - ε_θ(x_t, t)\\|^2]`\n\n### 1.4 去噪分数匹配（DSM）\n- **分数函数**：`s_θ(x) = ∇_x log p_θ(x)`\n- **去噪分数匹配**：通过注入不同噪声水平的样本学习条件分数\n- **与 Langevin 动态采样的联系**：`x_t+1 = x_t + (ε)\u002F(2) s_θ(x_t) + √(ε z`\n\n### 1.5 随机微分方程（SDE）视角\n- **正向 SDE**：`dx = f(x,t)dt + g(t)dw`\n- **逆向 SDE**：`dx = [f(x,t) - g(t)^2 ∇_x log p_t(x)]dt + g(t)d\\bar w`\n- **概率流 ODE**：确定性采样替代\n- **统一框架**：DDPM（VP-SDE）、Score-based（SMLD）、一致模型均可在此框架下理解\n\n### 1.6 流匹配（Flow Matching）\n- **核心思想**：在向量场中定义从噪声分布到目标分布的传输\n- **条件流匹配（CFM）**：以 `x_0` 为条件学习向量场\n- **与扩散的关系**：扩散模型是流匹配的特殊情况\n\n---\n\n## 二、关键里程碑论文与时间线\n\n### 2020 年 · 奠基\n| 论文 | 贡献 |\n|------|------|\n| **DDPM** (Ho et al., NeurIPS 2020) | 首个成功的高斯扩散生成模型 |\n| **Score-based** (Song & Ermon, NeurIPS 2020) | 基于分数匹配 + Langevin 动态的统一框架 |\n\n### 2021 年 · 加速与统一\n| 论文 | 贡献 |\n|------|------|\n| **DDIM** (Song et al., ICLR 2021) | 确定性采样，10-50× 加速 |\n| **Score SDE** (Song et al., ICLR 2021) | SDE 统一框架 |\n| **Classifier Guidance** (Dhariwal & Nichol, NeurIPS 2021) | 分类器引导可控生成 |\n\n### 2022 年 · 爆发\n| 论文 | 贡献 |\n|------|------|\n| **Classifier-Free Guidance** (Ho & Salimans, NeurIPS 2022) | 无需分类器的条件生成 |\n| **Stable Diffusion** (Rombach et al., CVPR 2022) | 潜空间扩散，大幅降低计算成本 |\n| **DALL·E 2** \u002F **Imagen** | 高质量文生图 |\n\n### 2023-2024 年 · 规模化\n| 论文\u002F系统 | 贡献 |\n|-----------|------|\n| **Consistency Models** (Song et al., 2023) | 单步生成 |\n| **DiT** (Peebles & Xie, 2023) | Transformer 取代 U-Net |\n| **Rectified Flow** (Liu et al., 2023) | 流匹配成为新范式 |\n| **Sora** (OpenAI, 2024) | 大规模视频扩散 |\n| **Flux** (Black Forest Labs, 2024) | rectified flow + Transformer |\n\n### 2025-2026 年 · 前沿\n- Flow Matching 主导、DiT 标准化、视频\u002F3D 扩散实用化、AI for Science 扩展\n\n---\n\n## 三、主要方法与变体\n\n### 3.1 加速采样方法\n\n| 方法 | 典型步数 |\n|------|----------|\n| DDIM | 20-50 |\n| DPM-Solver | 10-20 |\n| UniPC | 5-20 |\n| 一致性模型 | 1-2 |\n| LCM \u002F Turbo | 1-4 |\n\n### 3.2 引导机制\n\n**Classifier-Free Guidance (CFG)** 是当前主流：\n`~ε = ε_uncond + w · (ε_cond - ε_uncond)`，通常 `w = 3.5 \\sim 7.5`\n\n### 3.3 网络架构演进\n\n| 架构 | 代表模型 |\n|------|----------|\n| U-Net | DDPM, SD 1.x\u002F2.x |\n| DiT | SD3, PixArt, Flux |\n| MM-DiT | SD3 |\n| Rectified Flow Transformer | Flux |\n\n### 3.4 潜空间扩散（Latent Diffusion）\n\n在 VAE 编码的潜空间中扩散（8×8 vs 512×512），大幅降低计算成本。条件通过 Cross-attention 注入，ControlNet 提供额外控制。\n\n---\n\n## 四、应用领域\n\n- **图像生成**：Stable Diffusion, DALL·E, Midjourney, Flux\n- **视频生成**：Sora, Kling, Vidu, HunyuanVideo\n- **3D 生成**：DreamFusion, Magic3D, EG3D\n- **音频\u002F音乐**：AudioLDM, Bark, MusicGen\n- **科学应用**：RFdiffusion（蛋白质）、天气预报、分子设计\n\n---\n\n## 五、与其他生成模型的对比\n\n| 维度 | GAN | VAE | Flow | 自回归 | 扩散 |\n|------|-----|-----|------|--------|------|\n| 训练稳定性 | ❌ | ✅ | ⚠️ | ✅ | ✅ |\n| 样本质量 | ✅ | ❌ | ⚠️ | ✅ | ✅✅ |\n| 多样性 | ❌ | ✅ | ✅ | ✅ | ✅ |\n| 采样速度 | ✅ | ✅ | ⚠️ | ❌ | ⚠️→✅ |\n| 可控性 | ⚠️ | ⚠️ | ✅ | ⚠️ | ✅ |\n\n---\n\n## 六、前沿方向\n\n- **架构**：DiT\u002FTransformer 主导、Mamba、混合架构\n- **训练**：Flow Matching \u002F Rectified Flow 成为默认范式\n- **视频**：统一图像-视频模型、物理世界模拟\n- **3D**：文本到 4D、大规模 3D 预训练\n- **AI for Science**：蛋白质、材料、天气\n- **多模态统一**：共享主干\n\n---\n\n## 七、学习路径\n\n1. **入门（1-2周）**：DDPM + DDIM，实现简单扩散模型\n2. **进阶（2-4周）**：SDE 框架、CFG、Latent Diffusion，微调 SD\n3. **深入（持续）**：跟踪 Flow Matching\u002FDiT\u002FConsistency，阅读顶会论文\n\n---\n\n## 八、核心论文速查\n\n| # | 论文 | 年份 | 关键词 |\n|---|------|------|--------|\n| 1 | DDPM | 2020 | 去噪扩散 |\n| 2 | Score-based | 2020 | 分数匹配 |\n| 3 | DDIM | 2021 | 确定性采样 |\n| 4 | Score SDE | 2021 | SDE 统一 |\n| 5 | CFG | 2022 | 无分类器引导 |\n| 6 | Latent Diffusion | 2022 | SD |\n| 7 | DiT | 2023 | Transformer |\n| 8 | Rectified Flow | 2023 | 流匹配 |\n| 9 | Consistency | 2023 | 单步生成 |\n| 10 | Flux | 2024 | RF + Transformer |\n","---",null,"知识图谱","AI, 扩散模型, 生成模型, 知识体系, 早期文章",true,"2026-04-02T00:00:00.000Z",1794201841665]