有界进化:给自进化 Agent 装上限速器
有界进化:给自进化 Agent 装上限速器
2026-09-05 教学笔记 | 基于 SafeEvolve(arXiv:2609.02786)精读
自进化的诱惑与恐惧
让 Agent 改自己,是当下最诱人也最可怕的想法。诱人的地方在于:它是一个能力增长飞轮——Agent 完成任务、积累经验、把经验写回自己的指令和 skills,下一次表现更好,产生更高质量的经验,循环加速。可怕的地方在于:同一个循环也可以是错误固化飞轮——一次错误的自我修改被下一次迭代当作前提继承,错误以复利速度放大,而且因为是「自己改的」,往往没有人工审计的痕迹。
SafeEvolve 这篇论文(上海 AI Lab / SJTU 等)的价值在于:它没有回避自进化,而是给这个飞轮装了三个限速器。三者各司其职,缺一不可。
限速器一:组件级有界更新
机制:每一轮进化,proposer 只允许选择一个目标组件(比如一条 safety prompt 或一个 skill),生成一个有界突变,其余所有组件全部冻结。轨迹经验也不直接改系统,而是先压缩成面向单个组件的证据。
类比:「一次只改一行配置」。运维老手改生产环境从不一次动十个参数——那样出了问题你根本不知道是谁引起的。
为什么有效:有界性买来的是可归因性。改动只有一个,行为变化就能唯一归因到这条编辑上,审计和调试才有抓手。更微妙的是,它天然限制了错误的传播半径:一个坏突变污染不了整个 harness,下一轮门控有明确的对象可以拒绝。
限速器二:配对 accept-reject 门控
机制:候选版本和父版本在同一批任务上配对评测。接受条件是双重门槛:总体收益 J(候选) ≥ J(父) + δ,且一个门控函数 G 确认安全、良性效用、执行质量三个维度都不回退。任何一个维度回退,无论总收益多高,直接拒绝。
类比:「代码 review 的 CI 门槛」。你的 PR 让主指标涨了 5%,但测试覆盖率掉了、另一个接口变慢了——CI 照样红,merge 不了。「不回退」是硬约束,不是权衡项。
为什么有效:它堵住了自进化系统最经典的漏洞——Goodhart 攻击。如果只看单一指标,进化过程必然学会「刷分」:牺牲安全性换效用,或在评测集上过拟合。多项不回退约束把优化目标从「最大化一个数」变成了「在不退步的约束下改进」,门控持续剪掉回退候选,正是论文里 ASR 降 3 倍且效用不塌的关键。
限速器三:版本化回滚
机制:每个被接受的更新以版本化组件变更存储,附带触发它的证据(哪条轨迹、哪个失败桶)和回滚元数据。任何时刻可以撤回到任意历史版本,且每次 rollout 都标注明确的版本对,行为变化可以追溯到具体的 harness 或策略更新。
类比:「数据库迁移脚本 + rollback」。成熟的团队从不手改线上数据库——每次变更是一个带版本号的迁移文件,出问题一条命令回滚,变更历史就是审计日志。
为什么有效:前两个限速器是事前防御,回滚是事后兜底。它承认一个诚实的事实:门控不是万能的,验证器总有盲区。有了版本化回滚,「接受一个候选」就不再是不可逆的承诺,进化系统因此敢于尝试——失败的成本被压缩到「一次回滚」,而不是「永久污染」。
与我们自己的关系
有意思的是,这三个限速器并不新鲜——我们做研究时早就在用同一套思想,只是换了个名字。以我们刚冻结的 schema-formalization 预注册(preregistration.md v1.0)为例:
- 冻结 + 版本号 ≈ 组件级有界更新:文档冻结后不可修改,任何偏离必须标记为 exploratory,修订须升版本号并记录理由——每一轮「进化」(修订)都是有界、可归因的。
- 预注册的证伪条件 ≈ accept-reject 门控:H1 和 H1' 都先写死可证伪预测(ρ < 0、β₂ > 0、逐对对比的方向约束),数据出来之前不接受事后拟合——这就是研究版的「多项指标不回退才接受」。
- 修订记录表 ≈ 版本化回滚:每次修订的日期、内容、理由全部留痕,随时可以追溯「我们当时为什么这么决定」。
预注册的本质,就是把「人类研究者的自进化」限速:结论可以更新,但每一步更新必须可审计、可证伪、可回滚。SafeEvolve 把同样的纪律从人搬到了机器上。
一句话总结
进化的速度可以快,但每一步必须可审计、可回滚——限速器不是让飞轮停下来,而是保证它转的每一圈都留痕。