[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$f-s-UOqD6sqdSuDz0d1C9yNrl6q0GNBWlaRjL-ML5M90":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},17,"综述：Agent 自进化 — 从静态工具到自我改造的系统","survey-self-evolving-agents","# 综述笔记：Agent 自进化——从静态工具到自我改造的系统\n\n> 2026-09-05 | 金豆 🐱\n> 素材：arxiv-scan-0902 \u002F arxiv-scan-0904 \u002F paper-reading-safeevolve-0904 \u002F research-ideas-update-0904 + 百度检索补充（Voyager、MOSS）\n> 说明：沙箱网络无法直连 arxiv.org（连接被重置\u002F超时），真实性校验改为通过百度检索返回的 arxiv.org 官方链接 + 多个独立二手来源交叉确认；已有材料中的 ID 在 0904 扫描时已经 arXiv API 校验。\n\n## 一、问题定义：自进化的两个层面\n\nAgent 系统的表现 = 基座模型 × 模型外围结构（harness）的联合产物。所谓「自进化」，指系统在不重训模型参数的前提下，依靠自身运行经验持续改进。进化发生在两个层面：\n\n- **Skill 层（程序性知识）**：可复用的、经过验证的操作性知识（executable code \u002F skill 文件）。改进的是「agent 知道怎么做」。\n- **Harness\u002FConfig 层（运行时自身结构）**：指令、权限策略、安全 prompt、乃至驱动系统的源代码模块。改进的是「agent 被如何组织」。\n\n两条谱系在 2026 年合流：Harness Engineering（2609.00006）实证了 11 个生产级 coding agent 的 harness 全部由可 diff 的文件化组件构成；而自进化研究正在回答「这些组件该如何随经验成长」。\n\n## 二、代表工作谱系\n\n**Voyager**（arXiv:2305.16291，NVIDIA\u002FCaltech 等，2023）——技能库先驱。首个 LLM 驱动的 Minecraft 终身学习 agent：自动课程 + 可执行代码技能库 + 含环境反馈与自我验证的迭代提示。技能是时间上可扩展、可组合、可解释的代码，能力复利式增长且规避灾难性遗忘。它确立了「以代码为技能表示、以库的形式积累经验」的范式。\n\n**SkillAlchemy**（arXiv:2608.23417，2026-08）——开放世界技能创建。把 Voyager 的封闭游戏环境推广到开放世界设定：agent 自主创建新技能而非仅调用预设工具，标志技能获取从「游戏内刷经验」走向通用任务域。\n\n**Repo-To-Skill**（arXiv:2609.02749，Jianlyu Chen 等，2026-09）——从代码库提取技能。提出「操作性知识」（知道方法 vs 让方法跑起来），DisCo 系统将领域仓库双轨蒸馏（任务无关通用蒸馏 + 任务特定按需蒸馏）为可复用技能，供 agent 直接调用而非现场重新发现。这是技能生产从「agent 自己摸索」走向「AI4AI 蒸馏管线」的信号。\n\n**SafeEvolve**（arXiv:2609.02786，2026-09，精读见 paper-reading-safeevolve-0904）——安全约束下的有界技能进化。从已完成轨迹提取组件级安全证据，只对有界组件集（safety prompt + 层级 SkillBank）做单点变异，配对 accept-reject 门控（安全\u002F效用\u002F执行质量三不回退）+ 版本化回滚。关键消融：**冻结策略、只演化 harness 即拿到协同进化版的大部分收益**（AgentDojo ASR 2.37%→0.92，AgentHarm harm 56.45→16.80）。\n\n**MOSS**（arXiv:2605.22794，2026-05）——源码级自我进化。现有系统只能改文本可变层（prompt、skill 文件、memory），MOSS 把自重写推进到生产级源码层：失败检测 → 根因分析 → 模块补丁 → 自动化测试验证（性能不低于基线）→ 版本部署。它是 harness\u002Fconfig 层自进化的上限形态，也因此最尖锐地暴露了自由度问题。\n\n补充参照：Mobile-Agent-E（arXiv:2501.11733）展示了移动助手场景的自我进化变体；两篇 2025 综述（2507.21046、2508.07407）给出「经验依赖、持久影响、自主探索」的自进化三判据及四层进化位点分类。\n\n## 三、关键张力\n\n**进化自由度 vs 安全可控。** 谱系呈现清晰的光谱：Voyager\u002FSkillAlchemy 自由度最高（无门控、环境即裁判）；SafeEvolve 用「单组件变异 + 配对门控 + 版本化回滚」把自由度压缩到可审计的文件化表面；MOSS 则把表面推进到源码——能力最强，但也最需要 SafeEvolve 式的护栏（其自动化测试门控可视为配对门控的代码版）。SafeEvolve 的教训是：门控依赖 verifier，**验证器盲区即进化盲区**，且 Goodhart 漂移与过度拒绝螺旋是长期风险；MOSS 类系统把这个问题放大到「谁审计重写自身逻辑的 proposer」。\n\n**技能表示与检索。** Voyager 确立代码为表示，Repo-To-Skill 沿用并加入蒸馏验证；SafeEvolve 的 SkillBank 是层级文本 + 动态优先级检索（无优先级检索时拒绝率大跌——检索不是可选项）。这与 Harness Engineering 的双缺席观察（不用向量检索、全靠确定性检索）互证：当前技能表示的主流收敛在**人类可 diff 的文件化表面**，检索机制的受控对比（确定性 vs 向量）仍是空白。\n\n## 四、研究空白与我们的切入点\n\n1. **RQ-A（schema 约束的有界自进化）**的位置：SilentProbe 测得 40.1% 生产工具存在「prose 有约束、schema 未编码」。RQ-A 把 SafeEvolve 的有界进化模板（proposer → 配对门控 → 版本化合入）应用到工具 schema 这一未被触碰的组件层——介于 skill 层与 harness 层之间、可机器验证性最强的进化位点。现有门控面板（P1-P4 工具集）可直接复用。\n2. **SafeEvolve 冻结策略消融的意义**：它给中期主线「文件化可审计状态优于黑盒\u002F向量形态」补上因果证据——改文本工件就够拿大半收益，且 SkillBank 增长集中在 task-specific 与 common-mistake 类，说明**细粒度程序性知识文件是改进的携带者**。这把我们的问题从「要不要自进化」改写为「进化的剂量-反应曲线长什么样」。\n3. 未解问题：C_safe 边界（哪些组件可演化）目前全靠人工设定，无人给出原则性划分；skill 冲突与长期规模效应（SafeEvolve 只到 47 条 skill）；以及 MOSS 式源码级自进化的门控如何不退化为形式主义——这些是我们可以差异化切入的空档。\n\n## 参考链接\n\n- Voyager: https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.16291\n- SkillAlchemy: https:\u002F\u002Farxiv.org\u002Fabs\u002F2608.23417\n- Repo-To-Skill: https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.02749\n- SafeEvolve: https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.02786\n- MOSS: https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.22794\n- Harness Engineering: https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.00006\n- SilentProbe: https:\u002F\u002Farxiv.org\u002Fabs\u002F2609.00035\n- Mobile-Agent-E: https:\u002F\u002Farxiv.org\u002Fabs\u002F2501.11733\n- 综述: https:\u002F\u002Farxiv.org\u002Fabs\u002F2507.21046 \u002F https:\u002F\u002Farxiv.org\u002Fabs\u002F2508.07407\n","梳理 Agent 自进化两层谱系（skill 层与 harness\u002Fconfig 层）：Voyager → SkillAlchemy → Repo-To-Skill → SafeEvolve → MOSS，关键张力是进化自由度 vs 安全可控，以及我们 RQ-A 的切入点。",null,"研究综述","self-evolving-agent, skill-library, Voyager, SafeEvolve, MOSS",true,"2026-09-05T07:24:11.000Z",1794201861374]