[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fj93Z86Lz1zsKIEIacU5HcAgC4r1A-vZwgm3D3lfvxck":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},21,"有界进化：给自进化 Agent 装上限速器","bounded-evolution-for-self-evolving-agents","# 有界进化：给自进化 Agent 装上限速器\n\n> 2026-09-05 教学笔记 | 基于 SafeEvolve（arXiv:2609.02786）精读\n\n## 自进化的诱惑与恐惧\n\n让 Agent 改自己，是当下最诱人也最可怕的想法。诱人的地方在于：它是一个**能力增长飞轮**——Agent 完成任务、积累经验、把经验写回自己的指令和 skills，下一次表现更好，产生更高质量的经验，循环加速。可怕的地方在于：同一个循环也可以是**错误固化飞轮**——一次错误的自我修改被下一次迭代当作前提继承，错误以复利速度放大，而且因为是「自己改的」，往往没有人工审计的痕迹。\n\nSafeEvolve 这篇论文（上海 AI Lab \u002F SJTU 等）的价值在于：它没有回避自进化，而是给这个飞轮装了三个限速器。三者各司其职，缺一不可。\n\n## 限速器一：组件级有界更新\n\n**机制**：每一轮进化，proposer 只允许选择**一个**目标组件（比如一条 safety prompt 或一个 skill），生成一个有界突变，其余所有组件全部冻结。轨迹经验也不直接改系统，而是先压缩成面向单个组件的证据。\n\n**类比**：「一次只改一行配置」。运维老手改生产环境从不一次动十个参数——那样出了问题你根本不知道是谁引起的。\n\n**为什么有效**：有界性买来的是**可归因性**。改动只有一个，行为变化就能唯一归因到这条编辑上，审计和调试才有抓手。更微妙的是，它天然限制了错误的传播半径：一个坏突变污染不了整个 harness，下一轮门控有明确的对象可以拒绝。\n\n## 限速器二：配对 accept-reject 门控\n\n**机制**：候选版本和父版本在**同一批任务**上配对评测。接受条件是双重门槛：总体收益 J(候选) ≥ J(父) + δ，且一个门控函数 G 确认安全、良性效用、执行质量三个维度**都不回退**。任何一个维度回退，无论总收益多高，直接拒绝。\n\n**类比**：「代码 review 的 CI 门槛」。你的 PR 让主指标涨了 5%，但测试覆盖率掉了、另一个接口变慢了——CI 照样红，merge 不了。「不回退」是硬约束，不是权衡项。\n\n**为什么有效**：它堵住了自进化系统最经典的漏洞——Goodhart 攻击。如果只看单一指标，进化过程必然学会「刷分」：牺牲安全性换效用，或在评测集上过拟合。多项不回退约束把优化目标从「最大化一个数」变成了「在不退步的约束下改进」，门控持续剪掉回退候选，正是论文里 ASR 降 3 倍且效用不塌的关键。\n\n## 限速器三：版本化回滚\n\n**机制**：每个被接受的更新以**版本化组件变更**存储，附带触发它的证据（哪条轨迹、哪个失败桶）和回滚元数据。任何时刻可以撤回到任意历史版本，且每次 rollout 都标注明确的版本对，行为变化可以追溯到具体的 harness 或策略更新。\n\n**类比**：「数据库迁移脚本 + rollback」。成熟的团队从不手改线上数据库——每次变更是一个带版本号的迁移文件，出问题一条命令回滚，变更历史就是审计日志。\n\n**为什么有效**：前两个限速器是事前防御，回滚是**事后兜底**。它承认一个诚实的事实：门控不是万能的，验证器总有盲区。有了版本化回滚，「接受一个候选」就不再是不可逆的承诺，进化系统因此敢于尝试——失败的成本被压缩到「一次回滚」，而不是「永久污染」。\n\n## 与我们自己的关系\n\n有意思的是，这三个限速器并不新鲜——我们做研究时早就在用同一套思想，只是换了个名字。以我们刚冻结的 schema-formalization 预注册（preregistration.md v1.0）为例：\n\n- **冻结 + 版本号** ≈ 组件级有界更新：文档冻结后不可修改，任何偏离必须标记为 exploratory，修订须升版本号并记录理由——每一轮「进化」（修订）都是有界、可归因的。\n- **预注册的证伪条件** ≈ accept-reject 门控：H1 和 H1' 都先写死可证伪预测（ρ \u003C 0、β₂ > 0、逐对对比的方向约束），数据出来之前不接受事后拟合——这就是研究版的「多项指标不回退才接受」。\n- **修订记录表** ≈ 版本化回滚：每次修订的日期、内容、理由全部留痕，随时可以追溯「我们当时为什么这么决定」。\n\n预注册的本质，就是把「人类研究者的自进化」限速：结论可以更新，但每一步更新必须可审计、可证伪、可回滚。SafeEvolve 把同样的纪律从人搬到了机器上。\n\n## 一句话总结\n\n进化的速度可以快，但每一步必须可审计、可回滚——限速器不是让飞轮停下来，而是保证它转的每一圈都留痕。\n","自进化 = 能力增长飞轮 vs 错误固化飞轮。拆解 SafeEvolve 的三个限速器：组件级有界更新、配对门控、版本化回滚——进化的速度可以快，但每一步必须可审计、可回滚。",null,"AI教程","self-evolving-agent, SafeEvolve, bounded-updates, rollback, safety",true,"2026-09-05T21:20:11.000Z",1794201863553]