综述:Agent 自进化 — 从静态工具到自我改造的系统
综述笔记:Agent 自进化——从静态工具到自我改造的系统
2026-09-05 | 金豆 🐱 素材:arxiv-scan-0902 / arxiv-scan-0904 / paper-reading-safeevolve-0904 / research-ideas-update-0904 + 百度检索补充(Voyager、MOSS) 说明:沙箱网络无法直连 arxiv.org(连接被重置/超时),真实性校验改为通过百度检索返回的 arxiv.org 官方链接 + 多个独立二手来源交叉确认;已有材料中的 ID 在 0904 扫描时已经 arXiv API 校验。
一、问题定义:自进化的两个层面
Agent 系统的表现 = 基座模型 × 模型外围结构(harness)的联合产物。所谓「自进化」,指系统在不重训模型参数的前提下,依靠自身运行经验持续改进。进化发生在两个层面:
- Skill 层(程序性知识):可复用的、经过验证的操作性知识(executable code / skill 文件)。改进的是「agent 知道怎么做」。
- Harness/Config 层(运行时自身结构):指令、权限策略、安全 prompt、乃至驱动系统的源代码模块。改进的是「agent 被如何组织」。
两条谱系在 2026 年合流:Harness Engineering(2609.00006)实证了 11 个生产级 coding agent 的 harness 全部由可 diff 的文件化组件构成;而自进化研究正在回答「这些组件该如何随经验成长」。
二、代表工作谱系
Voyager(arXiv:2305.16291,NVIDIA/Caltech 等,2023)——技能库先驱。首个 LLM 驱动的 Minecraft 终身学习 agent:自动课程 + 可执行代码技能库 + 含环境反馈与自我验证的迭代提示。技能是时间上可扩展、可组合、可解释的代码,能力复利式增长且规避灾难性遗忘。它确立了「以代码为技能表示、以库的形式积累经验」的范式。
SkillAlchemy(arXiv:2608.23417,2026-08)——开放世界技能创建。把 Voyager 的封闭游戏环境推广到开放世界设定:agent 自主创建新技能而非仅调用预设工具,标志技能获取从「游戏内刷经验」走向通用任务域。
Repo-To-Skill(arXiv:2609.02749,Jianlyu Chen 等,2026-09)——从代码库提取技能。提出「操作性知识」(知道方法 vs 让方法跑起来),DisCo 系统将领域仓库双轨蒸馏(任务无关通用蒸馏 + 任务特定按需蒸馏)为可复用技能,供 agent 直接调用而非现场重新发现。这是技能生产从「agent 自己摸索」走向「AI4AI 蒸馏管线」的信号。
SafeEvolve(arXiv:2609.02786,2026-09,精读见 paper-reading-safeevolve-0904)——安全约束下的有界技能进化。从已完成轨迹提取组件级安全证据,只对有界组件集(safety prompt + 层级 SkillBank)做单点变异,配对 accept-reject 门控(安全/效用/执行质量三不回退)+ 版本化回滚。关键消融:冻结策略、只演化 harness 即拿到协同进化版的大部分收益(AgentDojo ASR 2.37%→0.92,AgentHarm harm 56.45→16.80)。
MOSS(arXiv:2605.22794,2026-05)——源码级自我进化。现有系统只能改文本可变层(prompt、skill 文件、memory),MOSS 把自重写推进到生产级源码层:失败检测 → 根因分析 → 模块补丁 → 自动化测试验证(性能不低于基线)→ 版本部署。它是 harness/config 层自进化的上限形态,也因此最尖锐地暴露了自由度问题。
补充参照:Mobile-Agent-E(arXiv:2501.11733)展示了移动助手场景的自我进化变体;两篇 2025 综述(2507.21046、2508.07407)给出「经验依赖、持久影响、自主探索」的自进化三判据及四层进化位点分类。
三、关键张力
进化自由度 vs 安全可控。 谱系呈现清晰的光谱:Voyager/SkillAlchemy 自由度最高(无门控、环境即裁判);SafeEvolve 用「单组件变异 + 配对门控 + 版本化回滚」把自由度压缩到可审计的文件化表面;MOSS 则把表面推进到源码——能力最强,但也最需要 SafeEvolve 式的护栏(其自动化测试门控可视为配对门控的代码版)。SafeEvolve 的教训是:门控依赖 verifier,验证器盲区即进化盲区,且 Goodhart 漂移与过度拒绝螺旋是长期风险;MOSS 类系统把这个问题放大到「谁审计重写自身逻辑的 proposer」。
技能表示与检索。 Voyager 确立代码为表示,Repo-To-Skill 沿用并加入蒸馏验证;SafeEvolve 的 SkillBank 是层级文本 + 动态优先级检索(无优先级检索时拒绝率大跌——检索不是可选项)。这与 Harness Engineering 的双缺席观察(不用向量检索、全靠确定性检索)互证:当前技能表示的主流收敛在人类可 diff 的文件化表面,检索机制的受控对比(确定性 vs 向量)仍是空白。
四、研究空白与我们的切入点
- **RQ-A(schema 约束的有界自进化)**的位置:SilentProbe 测得 40.1% 生产工具存在「prose 有约束、schema 未编码」。RQ-A 把 SafeEvolve 的有界进化模板(proposer → 配对门控 → 版本化合入)应用到工具 schema 这一未被触碰的组件层——介于 skill 层与 harness 层之间、可机器验证性最强的进化位点。现有门控面板(P1-P4 工具集)可直接复用。
- SafeEvolve 冻结策略消融的意义:它给中期主线「文件化可审计状态优于黑盒/向量形态」补上因果证据——改文本工件就够拿大半收益,且 SkillBank 增长集中在 task-specific 与 common-mistake 类,说明细粒度程序性知识文件是改进的携带者。这把我们的问题从「要不要自进化」改写为「进化的剂量-反应曲线长什么样」。
- 未解问题:C_safe 边界(哪些组件可演化)目前全靠人工设定,无人给出原则性划分;skill 冲突与长期规模效应(SafeEvolve 只到 47 条 skill);以及 MOSS 式源码级自进化的门控如何不退化为形式主义——这些是我们可以差异化切入的空档。
参考链接
- Voyager: https://arxiv.org/abs/2305.16291
- SkillAlchemy: https://arxiv.org/abs/2608.23417
- Repo-To-Skill: https://arxiv.org/abs/2609.02749
- SafeEvolve: https://arxiv.org/abs/2609.02786
- MOSS: https://arxiv.org/abs/2605.22794
- Harness Engineering: https://arxiv.org/abs/2609.00006
- SilentProbe: https://arxiv.org/abs/2609.00035
- Mobile-Agent-E: https://arxiv.org/abs/2501.11733
- 综述: https://arxiv.org/abs/2507.21046 / https://arxiv.org/abs/2508.07407