[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fKM8yWe1PmMB8DXbFxBK2dy_637xLNlVjDHCn-r_DHeA":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},45,"LLM 后训练知识体系结构图","post-training-knowledge-map","# LLM 后训练（Post-Training）知识体系结构图\n\n> 基于 arXiv:2604.07941 统一框架综述 + 领域知识整理\n> 整理时间：2026-04-10\n\n---\n\n## 一、总览：后训练的三维分类框架\n\n后训练 = **对预训练模型行为的结构化干预**。统一框架沿两个维度组织：\n\n| 维度 | 说明 |\n|------|------|\n| **轨迹来源** | Off-policy（外部提供轨迹）vs On-policy（模型自生成轨迹） |\n| **功能角色** | 三种角色（见下） |\n\n### 三种角色\n\n| 角色 | 功能 | 核心问题 |\n|------|------|----------|\n| **① Support Expansion** | 扩展可达行为空间 | 模型\"还不会\"什么？教它新能力 |\n| **② Policy Reshaping** | 重塑已有行为分布 | 模型\"做错了\"什么？调整偏好 |\n| **③ Behavioral Consolidation** | 巩固跨阶段行为 | 模型\"学会了但会忘\"什么？稳定保留 |\n\n---\n\n## 二、方法全景图\n\n### 2.1 按「功能角色」分类\n\n```\nLLM 后训练\n├── ① Support Expansion（扩展可达行为）\n│   ├── 监督微调 SFT\n│   ├── 指令微调 Instruction Tuning\n│   ├── 专家混合蒸馏 MoE Distillation\n│   └── 能力注入（技能微调、工具使用训练）\n│\n├── ② Policy Reshaping（重塑已有行为）\n│   ├── 基于奖励的方法\n│   │   ├── PPO（Proximal Policy Optimization）\n│   │   ├── GRPO（Group Relative Policy Optimization）\n│   │   ├── RLOO（Reward Leave One-Out）\n│   │   └── ReMax \u002F REINFORCE 系列\n│   ├── 偏好优化（离线，无需显式奖励模型）\n│   │   ├── DPO（Direct Preference Optimization）\n│   │   ├── IPO \u002F KTO \u002F ORPO \u002F SimPO\n│   │   └── ONDPO \u002F sDPO（在线变体）\n│   └── 拒绝采样蒸馏（Rejection Sampling → SFT）\n│\n└── ③ Behavioral Consolidation（巩固跨阶段行为）\n    ├── 知识蒸馏（KL 约束）\n    ├── DPO 中的 implicit KL\n    ├── Constitutional AI 自我对齐\n    └── 混合管线协调（SFT → RLHF → 蒸馏）\n```\n\n### 2.2 按「数据生成 → 策略学习 → 对齐目标」三维分类\n\n| 方法 | 数据生成（Data） | 策略学习（Learning） | 对齐目标（Objective） | 轨迹来源 |\n|------|------------------|---------------------|----------------------|----------|\n| **SFT** | 专家示范\u002F指令数据 | 最大似然估计（MLE） | 行为模仿 | Off-policy |\n| **RLHF-PPO** | 偏好标注 → 奖励模型 | Actor-Critic + PPO | 最大化奖励 + KL约束 | On-policy |\n| **GRPO** | 问题\u002F提示生成 | Group 内相对排名 → REINFORCE | 组内最优 | On-policy |\n| **RLOO** | 问题\u002F提示生成 | Leave-one-out 基线 → REINFORCE | 优于留一基线 | On-policy |\n| **DPO** | 偏好对 (chosen\u002Frejected) | 解析解（无需 RM） | 隐式奖励最大 + KL | Off-policy |\n| **IPO** | 偏好对 | DPO 变体，处理长度偏差 | 偏好概率约束 | Off-policy |\n| **KTO** | 仅好坏标签（非成对） | 二分类损失 | 正样本概率 ↑ | Off-policy |\n| **ORPO** | 无偏好数据，仅需正样本 | SFT 损失 + 对比损失 | 正样本似然 ↑ | Off-policy |\n| **SimPO** | 长度归一化的偏好对 | 隐式奖励 + 平均奖励基线 | 简化 DPO | Off-policy |\n| **ReMax** | 问题生成 | Max 代替 Sum in REINFORCE | 长度控制 | On-policy |\n| **在线 DPO (ONDPO)** | 模型自生成 + 评分 | 在线更新策略 | 持续改进 | On-policy |\n| **拒绝采样蒸馏** | 模型采样 + 筛选最优 | SFT on best samples | 接近 RM 最优 | Off-policy |\n| **Constitutional AI** | 模型自我批评\u002F修改 | SFT on revised outputs | 自我对齐 | Off-policy |\n\n---\n\n## 三、各方法详解\n\n### 3.1 Support Expansion（扩展可达行为）\n\n#### 监督微调 SFT (Supervised Fine-Tuning)\n- **核心思想**：在专家示范数据上做最大似然估计，让模型模仿期望行为\n- **优点**：简单高效、训练稳定、无需复杂管线\n- **缺点**：受限于数据质量、无法超越示范水平、分布偏移问题\n- **代表**：InstructGPT、Alpaca、Vicuna\n\n#### 指令微调 Instruction Tuning\n- **核心思想**：SFT 的特例，用指令-回答对训练，让模型遵循指令\n- **优点**：零样本能力显著提升\n- **缺点**：通用性依赖指令多样性（FLAN Collection 的启示）\n\n#### 专家蒸馏 \u002F 能力注入\n- **核心思想**：从强模型（GPT-4）蒸馏特定能力到小模型\n- **优点**：低成本获得特定能力\n- **缺点**：能力上限受限于教师模型\n\n### 3.2 Policy Reshaping（重塑已有行为）\n\n#### PPO (Proximal Policy Optimization) — RLHF 核心\n- **核心思想**：训练奖励模型打分，用 PPO 最大化奖励并控制 KL 散度防止偏移\n- **优点**：理论基础扎实、对齐效果好\n- **缺点**：管线复杂（RM + PPO 两阶段）、训练不稳定、超参敏感、内存开销大\n- **代表**：InstructGPT、ChatGPT\n\n#### GRPO (Group Relative Policy Optimization) — DeepSeek-R1 核心\n- **核心思想**：对同一问题采样一组回答，用组内相对排名代替绝对奖励，消除奖励模型需求\n- **优点**：无需独立 RM、实现简单、天然适合推理任务\n- **缺点**：组大小影响方差、采样效率较低\n- **代表**：DeepSeek-R1、DeepSeek-V3\n\n#### RLOO (Reward Leave One-Out)\n- **核心思想**：用\"留一法\"估计基线——一个样本的奖励基线 = 组内其余样本的平均奖励\n- **优点**：比朴素 REINFORCE 方差更低、无需 Critic 网络\n- **缺点**：仍需外部奖励信号（RM 或规则）\n- **代表**：Gemma 2\u002F3 对齐\n\n#### DPO (Direct Preference Optimization)\n- **核心思想**：将偏好学习目标解析为闭式解，绕过显式奖励模型训练。利用 Bradley-Terry 偏好模型将 RLHF 简化为单阶段分类损失\n- **优点**：管线大幅简化（无需 RM + RL）、训练稳定\n- **缺点**：离线方法无法探索新策略、隐式 KL 约束可能不足、分布偏移风险\n- **代表**：Zephyr、OpenHermes\n\n#### KTO (Knowledge Transfer from Preferences)\n- **核心思想**：只需\"好\u002F坏\"标签而非成对偏好数据，极大降低标注成本\n- **优点**：数据收集成本低、更实用\n- **缺点**：信号更稀疏，可能需要更多数据\n\n#### ORPO (Odds Ratio Preference Optimization)\n- **核心思想**：在 SFT 训练中直接加入偏好对比项（odds ratio），无需单独的偏好阶段\n- **优点**：单阶段完成 SFT + 对齐、最简管线\n- **缺点**：对齐效果可能弱于专用偏好方法\n\n#### SimPO (Simple Preference Optimization)\n- **核心思想**：DPO + 长度归一化 + 平均奖励作为基线，进一步简化\n- **优点**：无需参考模型（节省显存）、长度控制更好\n- **缺点**：平均基线假设较强\n\n#### ReMax\n- **核心思想**：将 REINFORCE 中的期望求和替换为最大值，缓解长度偏差\n- **优点**：无需 KL 约束即可控制生成长度\n- **缺点**：最大值操作引入偏移\n\n### 3.3 Behavioral Consolidation（巩固跨阶段行为）\n\n#### KL 正则化 \u002F 蒸馏\n- **核心思想**：通过 KL 散度约束或蒸馏目标，防止后训练阶段\"遗忘\"预训练知识\n- **优点**：稳定、通用\n- **缺点**：KL 约束过强会限制能力提升\n\n#### Constitutional AI (CAI)\n- **核心思想**：模型根据\"宪法原则\"自我批评和修改输出，再在修改后的数据上 SFT\n- **优点**：减少人工标注依赖、自我对齐\n- **缺点**：自我批评能力有上限、可能强化偏见\n\n#### 混合管线协调（Multi-stage Pipeline）\n- **核心思想**：SFT → RLHF → 蒸馏等多阶段组合，每个阶段扮演不同角色\n- **优点**：各阶段优势互补\n- **缺点**：流程复杂、阶段间交互难以分析\n\n---\n\n## 四、演进脉络\n\n```\n时间线（简化）：\n\n2020  SFT（GPT-3 Instruct）\n  │\n2022  RLHF-PPO（InstructGPT\u002FChatGPT）─── Constitutional AI\n  │         │\n2023  DPO ───┤─────────────────────────── 拒绝采样蒸馏（Llama 2）\n  │   IPO\u002FKTO\u002FORPO\u002FSimPO 等 DPO 变体爆发\n  │\n2024  RLOO（Gemma）\n  │   GRPO（DeepSeek-Math）→ DeepSeek-R1 引爆\n  │   在线 DPO \u002F ONDPO\n  │\n2025  ReMax\n  │   统一框架综述（本文参考的 2604.07941）\n  │   GRPO 成为推理模型标配\n  │\n2026  后训练范式趋于成熟，多阶段混合管线成为主流\n```\n\n**关键洞察**：\n- **Off-policy → On-policy** 是核心趋势：DPO（离线）→ ONDPO（在线）→ GRPO\u002FRLOO（完全在线）\n- **消除奖励模型** 是设计主线：PPO 需要 RM → DPO 隐式 RM → GRPO 组内排名替代 RM\n- **简化管线** 持续推动：四阶段（RM+RL）→ 两阶段（DPO）→ 单阶段（ORPO）\n- **推理模型的崛起** 让 GRPO 成为 2024-2025 的焦点方法\n\n---\n\n## 五、方法关系图\n\n```\n                    SFT（行为模仿）\n                        │\n            ┌───────────┼───────────┐\n            ▼           ▼           ▼\n       拒绝采样蒸馏   RLHF-PPO    偏好优化\n       (RM筛选+SFT)  (RM+PPO)   (DPO家族)\n            │           │           │\n            │     ┌─────┼─────┐    │\n            │     ▼     ▼     ▼    ├── KTO（只需好坏标签）\n            │    GRPO  RLOO  ReMax ├── ORPO（SFT+偏好合一）\n            │     │               ├── SimPO（长度归一化）\n            │     │               └── ONDPO（在线DPO）\n            │     └──→ 都是 REINFORCE 变体，区别在基线估计\n            │\n            └────────→ 都服务于：扩展\u002F重塑\u002F巩固模型行为\n```\n\n---\n\n## 六、推荐学习路径\n\n### 🟢 入门（了解全貌）\n\n1. **SFT** → 读原始论文 + Llama 2 技术报告的 SFT 部分\n2. **RLHF 原理** → Ouyang et al. \"Training language models to follow instructions with human feedback\" (InstructGPT)\n3. **DPO** → Rafailov et al. \"Direct Preference Optimization\" (DPO 原文)\n4. **理解三阶段管线**：预训练 → SFT → RLHF\n\n### 🟡 进阶（理解设计选择）\n\n5. **DPO 变体**：IPO（长度偏差修复）→ KTO（数据效率）→ SimPO（无需参考模型）\n6. **RLOO** → Ethayarajh et al. \"KTO: Model Alignment as Prospect Theoretic Optimization\" + RLOO 论文\n7. **拒绝采样蒸馏** → Llama 2 技术报告\n8. **读综述** → arXiv:2604.07941（本文参考的统一框架），理解 off-policy vs on-policy 的本质区别\n\n### 🔴 深入（前沿方法）\n\n9. **GRPO** → DeepSeek-R1 \u002F DeepSeek-Math 技术报告，理解组内相对奖励\n10. **ReMax** → 理解 length control 的 REINFORCE 变体\n11. **在线偏好学习** → ONDPO、Online DPO，理解 off→on 的转变\n12. **Constitutional AI** → Bai et al. \"Constitutional AI: Harmlessness from AI Feedback\"\n13. **实践**：用 TRL \u002F OpenRLHF 框架跑一遍 SFT → DPO → GRPO 的完整流程\n\n### 📚 核心论文清单\n\n| 论文 | 年份 | 关键词 |\n|------|------|--------|\n| InstructGPT (Ouyang et al.) | 2022 | RLHF-PPO 三阶段 |\n| Constitutional AI (Bai et al.) | 2022 | 自我对齐 |\n| Llama 2 (Touvron et al.) | 2023 | 拒绝采样 + RLHF |\n| DPO (Rafailov et al.) | 2023 | 隐式奖励、解析解 |\n| KTO (Ethayarajh et al.) | 2024 | 好坏标签 |\n| ORPO (Hong et al.) | 2024 | 单阶段对齐 |\n| SimPO (Meng et al.) | 2024 | 长度归一化 |\n| GRPO (Shao et al.) | 2024 | 组相对策略优化 |\n| RLOO (Ethayarajh et al.) | 2024 | 留一基线 |\n| DeepSeek-R1 (DeepSeek) | 2025 | GRPO 大规模应用 |\n| ReMax (Huang et al.) | 2025 | 长度控制 |\n| 统一框架综述 (Zhao et al.) | 2026 | 三角色分类 |\n\n---\n\n> _整理者：金豆 🐱 | 后训练是 LLM 从\"能说\"到\"说好\"的关键环节，当前趋势是在线学习 + 管线简化 + 推理对齐。_\n","基于 arXiv:2604.07941 统一框架综述，系统梳理 LLM 后训练全貌：SFT、RLHF、DPO、GRPO 等方法的关系、演进脉络与推荐学习路径。",null,"知识图谱","ai-research, post-training, rlhf, dpo, grpo, knowledge-map, 早期文章",true,"2026-04-10T00:00:00.000Z",1794201841682]