[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$f5EF9ZDfr4-FsM0L0vLiRnX-dh-S5PyOik6tid97PZ0s":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},57,"论文精读：CLEAR — Agent 上下文的对比学习增强","clear-deep-read-2026-04-10","# CLEAR 精读笔记\n\n## 论文基本信息\n\n- **论文:** CLEAR: Context Augmentation from Contrastive Learning of Experience via Agentic Reflection\n- **作者:** Linbo Liu, Guande Wu, Han Ding 等 (AWS AI Labs)\n- **arXiv:** https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.07487\n- **代码:** https:\u002F\u002Fgithub.com\u002Fawslabs\u002FCLEAR\n\n## 问题动机\n\nLLM Agent 在执行复杂任务时严重依赖上下文质量。现有方法主要分为两类：\n\n1. **检索式（RAG）**：检索到的内容需要执行 agent 自行适配，增加推理负担\n2. **Prompt 优化（ACE, Dynamic Cheatsheet）**：通用的，非针对特定任务实例定制\n\n**核心问题：** 现有方法要么检索不够精准，要么不够定制化。当底层 LLM 推理能力有限或新任务与历史差异较大时，效果堪忧。\n\n## 方法论\n\n### 核心思想\n\n过去的经验不应被原样搬运到新场景，而应该被\"消化\"后重新生成。训练一个 Context Augmentation Model (CAM)，输入新任务描述，输出为该任务量身定制的上下文。\n\n### 三阶段训练框架\n\n**Phase 0: 对比学习 + 反思蒸馏（数据生成）**\n- 对每个训练任务执行 6 次，按奖励排序\n- 反思 agent（具备工具使用能力的 agentic 系统）做多轨迹对比分析\n- 生成 SFT 数据\n\n**Phase 1: SFT（warm-up）**\n- 用 Phase 0 产生的数据训练 CAM（基于 Qwen3-32B）\n- 数据不足时使用组合式数据增强\n\n**Phase 2: RL（端到端优化）**\n- 奖励信号来自实际执行 agent 的运行结果\n- 使用 GRPO 作为 RL 算法\n- 只有 CAM 参数可训练，执行 agent 完全冻结\n\n**推理：** q_new → CAM → c_new → q_new ⊕ c_new → 执行 Agent\n\n## 实验结果\n\n### AppWorld（Claude-Sonnet-4 执行 Agent）\n\n| 方法 | TGC | SGC |\n|------|-----|-----|\n| Baseline | 72.62% | 59.67% |\n| RAG | 76.11% | 63.26% |\n| ACE | 74.38% | 60.47% |\n| **CLEAR** | **81.15%** | **67.41%** |\n\n相比 Baseline 提升 **+8.53% TGC**。而且 CLEAR 的 prompt 是 benchmark-agnostic 的，ACE 使用了针对 AppWorld 定制的 prompt。\n\n### WebShop-40k\n\n| 方法 | Avg. Reward |\n|------|-------------|\n| Baseline | 0.6799 |\n| RAG | 0.7252 |\n| **CLEAR** | **0.7406** |\n\n### CAM 可迁移性\n\n用 Claude 生成的训练数据训练的 CAM，在 DeepSeek-V3.1 执行 agent 上仍然有效——学到了任务级的通用策略。\n\n## 与相关工作对比\n\n| 方法 | 训练方式 | 任务定制性 |\n|------|---------|-----------|\n| RAG | 无训练 | 低 |\n| ACE | 无训练 | 中 |\n| **CLEAR** | **SFT + RL** | **高（生成式定制）** |\n\nCLEAR 是唯一将\"对比学习蒸馏\"和\"端到端 RL 优化\"结合的方法。\n\n## 批判性思考\n\n### 优势\n1. 从\"检索\"到\"生成\"的范式转换，更符合人类学习方式\n2. 不修改执行模型，对闭源 API 友好\n3. Benchmark-agnostic，通用性好\n4. 代码开源，可复现\n\n### 不足\n1. 数据收集成本高（每任务执行 6 次）\n2. 评估基准有限（仅 AppWorld 和 WebShop-40k）\n3. CAM 用 32B 模型，最小有效规模未知\n4. 长尾任务泛化未充分讨论\n\n## 个人见解\n\nCLEAR 最重要的贡献不是某个具体技术，而是一个**研究方向的明确定义**：Context engineering for agents 不应该只是\"检索\"或\"模板匹配\"，而应该是一个**生成式**的问题。这个观点很可能在接下来 1-2 年内成为 agent 研究的主流方向。\n\n---\n\n*金豆记于 2026-04-10*\n","AWS AI Labs 提出的 Context Engineering 方案：训练专门的 Context Augmentation Model，通过对比学习蒸馏 + RL 端到端优化，为 Agent 生成任务定制化上下文。",null,"研究","研究, 论文精读, LLM Agent, Context Engineering, 强化学习, AWS, 早期文章",true,"2026-04-10T00:00:00.000Z",1794201841682]