[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fRKdTtu_e9uIxCFMQFKoOwtGJ4fqpZeUOMLz1ZI6Gprc":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},39,"Diffusion Transformer（DiT）知识体系结构图","diffusion-transformer-knowledge-map","# Diffusion Transformer（DiT）知识体系结构图\n\n> 创建日期：2026-04-11\n> 定位：知识脉络梳理，非入门级解释\n\n---\n\n## 一、整体知识树\n\n```\n扩散生成模型 (Diffusion Models)\n│\n├── 传统骨干：U-Net（DDPM, LDM, Stable Diffusion 1.x\u002F2.x）\n│\n└── 新一代骨干：DiT（Diffusion Transformer）\n    │\n    ├── 核心思想：用 Transformer 替换 U-Net 作为去噪骨干\n    │\n    ├── 架构要点\n    │   ├── Patchify：将噪声潜变量切分为 patch token\n    │   ├── 条件注入：adaLN-Zero（自适应 LayerNorm + 零初始化）\n    │   ├── Scalability：模型规模（S\u002FB\u002FL\u002FXL）+ 采样步数可预测地提升质量\n    │   └── 位置编码：learned positional embedding\n    │\n    ├── 关键论文与里程碑\n    │   ├── Peebles & Xie (2023) —— DiT 原始论文\n    │   ├── Sora (OpenAI, 2024) —— 视频生成的 DiT 变体（Spacetime Patch）\n    │   ├── Stable Diffusion 3 (2024) —— MMDiT（多模态 DiT）\n    │   ├── FLUX (Black Forest Labs, 2024) —— 流匹配 + DiT\n    │   ├── PixArt-Σ \u002F Π —— 高分辨率图像 DiT\n    │   └── HunyuanVideo, CogVideoX —— 视频 DiT 代表\n    │\n    ├── 变体分支\n    │   ├── 图像生成：DiT-XL\u002F2, SD3, FLUX, PixArt\n    │   ├── 视频生成：Sora, Open-Sora, CogVideoX, HunyuanVideo, MovieGen\n    │   ├── 3D 生成：Point-E → 当代 3D DiT 方法\n    │   └── 统一架构：Emu3 (自回归+扩散统一)\n    │\n    └── 训练范式\n        ├── 标准扩散训练（ε-prediction \u002F v-prediction）\n        ├── Flow Matching（流匹配，FLUX\u002FSD3 采用）\n        ├── Rectified Flow\n        └── 连续时间一致性\n```\n\n---\n\n## 二、核心思想：为什么用 Transformer 替换 U-Net？\n\n| 维度 | U-Net（传统） | DiT（新一代） |\n|------|--------------|--------------|\n| 架构 | 卷积 + 跳跃连接 | 纯 Transformer |\n| 归纳偏置 | 强（局部性、平移等变性） | 弱（通用序列建模） |\n| 可扩展性 | 受限，规模增大收益递减 | 近似幂律，规模越大越好 |\n| 条件注入 | 交叉注意力 \u002F Adaptive Conv | adaLN-Zero |\n| 代表作 | SD 1.5\u002F2.1, DALL-E 2 | Sora, SD3, FLUX |\n\n**关键洞察**：U-Net 的卷积归纳偏置在低数据量时有益，但数据量足够大时反而限制了模型上限。Transformer 的通用性使其在大规模下展现出更优的 scaling behavior。\n\n---\n\n## 三、架构要点详解\n\n### 3.1 Patchify\n\n- 输入：噪声潜变量 z ∈ ℝ^(H×W×C)\n- 操作：将 z 切分为 p×p 的 patch，每个 patch 线性投影为一个 token\n- 结果：序列长度 N = (H\u002Fp) × (W\u002Fp)，p 常取 2\n- 本质：与 ViT 完全相同的策略，将 2D 特征图转为 1D token 序列\n\n### 3.2 条件注入：adaLN-Zero\n\n- **adaLN（自适应 LayerNorm）**：将条件信息（时间步 $t$、类别\u002F文本 embedding）通过 MLP 映射为 scale (γ) 和 shift (β) 参数，调制 LayerNorm\n- **Zero 初始化**：每个 DiT block 中条件调制的输出层初始化为零 → 训练初期该 block 等价于恒等映射\n- **效果**：比交叉注意力更高效，条件信号直接作用于每一层的主路径\n\n### 3.3 模型规模与 Scalability\n\nDiT 定义了四个规模等级：\n\n| 变体 | 参数量 | patch 大小 | GFLOPs |\n|------|--------|-----------|--------|\n| DiT-S\u002F2 | 33M | 2×2 | ~4.6 |\n| DiT-B\u002F2 | 130M | 2×2 | ~16.9 |\n| DiT-L\u002F2 | 458M | 2×2 | ~59.5 |\n| DiT-XL\u002F2 | 675M | 2×2 | ~85.4 |\n\n**核心发现**：FID 与总计算量（GFLOPs）呈可预测的幂律关系，规模越大、采样步数越多 → 质量越好。\n\n### 3.4 输出头\n\n- **最终处理**：token 序列 → 反 patchify（reshape 回 2D）→ 线性层预测噪声 \u002F 速度场\n- 无 U-Net 的解码器结构，更简洁\n\n---\n\n## 四、关键论文脉络\n\n### 4.1 DiT（Peebles & Xie, 2023）\n\n- 论文：*Scalable Diffusion Models with Transformers*\n- 贡献：首次系统证明 Transformer 可作为扩散模型骨干，且 scaling 性能优于 U-Net\n- 关键实验：ImageNet 类条件生成，DiT-XL\u002F2 达到 SOTA FID\n\n### 4.2 Sora（OpenAI, 2024）\n\n- 技术：Spacetime Patch Tokenization（时空 patch），3D 变分自编码器压缩视频\n- 意义：将 DiT 从图像扩展到视频，证明了统一的 patch 化策略可处理任意分辨率\u002F时长\n- 影响：引爆了视频生成领域的 DiT 潮流\n\n### 4.3 Stable Diffusion 3 \u002F MMDiT（2024）\n\n- 技术：**M**ulti-**M**odal **DiT** — 文本和图像 token 在同一 Transformer 中联合处理\n- 创新：双流架构（文本流 + 图像流）共享权重，比简单拼接更高效\n- 训练：Flow Matching 替代传统扩散训练\n\n### 4.4 FLUX（Black Forest Labs, 2024）\n\n- 团队：原 SD 核心作者（Robin Rombach 等）\n- 技术：流匹配 + DiT 骨干 + 旋转位置编码（RoPE）\n- 特点：极高的图像质量和文本遵循能力\n\n### 4.5 其他重要工作\n\n| 工作 | 方向 | 特点 |\n|------|------|------|\n| PixArt-α\u002FΣ | 图像 | 高分辨率，高效训练 |\n| Open-Sora \u002F Open-Sora-Plan | 视频 | 开源复现 Sora |\n| CogVideoX | 视频 | 智谱开源，3D RoPE |\n| HunyuanVideo | 视频 | 腾讯，高保真 |\n| Emu3 | 统一 | 自回归 + 扩散统一框架 |\n| Lumina-T2X | 统一 | Flow + DiT，任意分辨率 |\n\n---\n\n## 五、变体分支与扩展\n\n### 5.1 Latent DiT\n\n- 大多数实际系统（Sora, SD3, FLUX）都在**潜空间**操作（继承 LDM 思想）\n- VAE\u002FVAE-3D 编码器先压缩像素空间 → DiT 在低维潜空间去噪 → 解码回像素\n- 大幅降低计算成本，使高分辨率生成可行\n\n### 5.2 图像 → 视频 → 3D 的扩展路径\n\n```\n图像 DiT（2D patches）\n  └─→ 视频 DiT（时空 patches \u002F 3D VAE）\n        └─→ 3D DiT（体素\u002F点云 patches）\n```\n\n- **视频**：时间维度建模（3D attention 或 temporal attention 层）\n- **3D**：将 3D 数据结构化为 patch 序列（类似 Point-ViT 思路）\n\n### 5.3 训练范式演进\n\n```\n传统扩散（DDPM\u002FDDIM）\n  └─→ Flow Matching（连续归一化流视角）\n        └─→ Rectified Flow（更直的 ODE 路径，更少步数）\n```\n\nFlow Matching 正在成为 DiT 系列的主流训练范式（SD3、FLUX 均采用）。\n\n---\n\n## 六、与已有笔记的关联\n\n本笔记接续**[扩散模型知识体系](\u002Fdocs\u002Fdiffusion-model-knowledge-map)**中的扩散模型知识脉络。\n\n- **扩散模型笔记** 梳理了 DDPM → DDIM → LDM（Stable Diffusion）的主线，以 U-Net 为默认骨干\n- **本笔记** 聚焦于扩散模型的**骨干架构演进**：从 U-Net 到 Transformer 的范式转换\n- 两篇笔记的关系：扩散模型笔记 = 基础理论框架；DiT 笔记 = 骨干架构的当代演进\n- 扩散模型笔记中的 LDM（潜空间扩散）概念在 DiT 生态中被全面继承（Latent DiT）\n\n建议阅读顺序：先理解扩散模型基础 → 再看 DiT 如何用 Transformer 替换骨干。\n","从 U-Net 到 Transformer：扩散模型骨干架构的范式转换，涵盖 DiT 核心思想、关键论文脉络、变体分支与训练范式演进。",null,"知识图谱","早期文章",true,"2026-04-11T00:00:00.000Z",1794201841685]