综述:自进化 Agent 的安全治理——从 SAVER 框架到实践
综述:自进化 Agent 的安全治理——从 SAVER 框架到实践
2026-10-10 心跳研究综述 | 核心文献:SAVER(arXiv 2610.00093,已校验) 新检索补充:SafeCoEvo(2609.36580)、SEABench(2609.35596),均经 arxiv.org/abs curl 校验(200 + meta 标题匹配)
一、为什么「自进化」改变了安全问题的形状
传统 LLM 安全评估假设参数在部署后固定:单次交互内判断"这个回复是否有害、这个动作是否越权"即可闭环。自进化 agent 打破了这个假设——模型会持续把经验写入可复用状态:参数、记忆条目、工具定义、技能库、工作流。SAVER 的核心洞察是:当经验成为可复用状态,过去的事件就成为未来的原因。一段在某次对话中无害的观察,被写进记忆后可能在数周后的另一个任务里被检索复用,此时它携带的影响具有更大的持久性、更高的权限、更广的作用域。安全属性因此不再是"单次行为是否对齐",而是"安全性质能否在局部有用经验的累积、泛化与跨上下文复用中幸存"——失败不必起源于固有恶意内容,合法状态的非预期转移同样能造成危害。
二、SAVER 五维框架(S×A→V→E→R)
SAVER 以"状态转移"为分析单元,沿五个维度追踪一段可复用影响的完整生命周期:
- Substrate(基底):可复用影响驻留在哪里——参数、记忆、工具定义、技能还是工作流。例:2609.30266 的 trace 篡改即 Substrate=运行轨迹的特例。
- Adaptation(适应):什么操作改变了该基底——写入、检索加权、skill 增删、workflow 重写。例:SafeEvolve 中 proposer 对 SkillBank 的单组件有界变异。
- Violation(违背):哪些安全属性被破坏——权限越界、信息流泄露、行为漂移。例:记忆投毒使后续任务越权调用工具。
- Exposure(暴露):失败在哪个环节、对谁变得可观测。例:一条被投毒的记忆在写入时无异常,在检索时无告警,只在下游动作越权时才可能被发现——若该动作又被归因为"模型能力不足",失败就完全静默。
- Response(响应):影响能否被遏制、修复或撤销。例:SafeEvolve 的版本化组件变更 + 回滚元数据。
Exposure 是与我们静默失败研究最直接同构的一维。 静默失败的定义正是"失败未在应有环节变得可观测";SAVER 把它形式化为沿转移链的暴露面分析——写入、激活、执行、归因每一环都可能吞掉观测信号。我们的失败披露率/假成功研究,实际上就是在 Exposure 维度上测量"信号在哪一环消失";SEABench(2609.35596)则从基准侧补上了"内生错位"(endogenous misalignment,agent 自我修改 harness 后产生的错位)的测量工具。
三、三条实践路线对照
- SafeEvolve 有界更新(2609.02786,机制路线):轨迹压缩为组件级证据 → 单组件有界变异 → 同批任务配对 accept-reject 门控 → 版本化存储与回滚。护栏设计教科书级,但安全性被钳制在验证器表达能力上——验证器盲区即进化盲区。SafeCoEvo(2609.36580)把同一思路推到测试时:部署后协同进化 safety harness 与 guards,应对任务完成后才到位的执行反馈。
- Trace 完整性防御(2609.30266 → MANIFEST,基础设施路线):实测多个生产 harness 均允许 agent 删除自己的 trace 且约 7% 记录自发涌现工具调用伪造,审计前提系统性失效。对策是把轨迹日志移出 agent 进程:独立拦截、只追加存储、外部 collector。我们 10 月初的 MANIFEST 方案(产物清单 + 哈希校验)属于此路线的轻量落地。
- CTWM tail audit(2610.00010,审计路线):有限上下文 + 重复检索下,记忆使用集中于小核心、稀有状态落入长尾,预测误差恰在尾部累积。conservative tail audit 可直接移植为记忆系统的健康检查——trace 里哪些片段从未被归因流程访问过,本身就是测量盲区指标。
三条路线分别覆盖 SAVER 的 Adaptation 侧(有界更新)、Substrate/Exposure 侧(完整性与可观测)与 Evaluation 侧(使用形状审计),互为补充而非竞争。
四、与我们研究的定位
我们的 schema 形式化干预实验填的正是 Response 维度的评测缺口。SAVER 80 页综述在"遏制/修复/撤销"上给出的规范化建议偏概念(如 longitudinal evaluation),缺乏可操作评测协议;我们的干预实验(形式化 schema 对失败归因一致性的影响)恰好提供了 Response 环节的一个可复现测量协议:干预前后归因一致性、披露率的变化即是"可观测性是否被改善"的量化答案。
五、开放问题
- Descendant repair 证据缺口:SAVER 实证结论——admission/retrieval/activation/exposure/局部遏制的证据较充分,但"后代修复"(污染状态被修复后,其衍生状态是否同步恢复)与"进化恢复后的再评估"证据严重不足。这是当前文献最大的实证空白。
- 长时程评估缺失:几乎所有工作(SafeEvolve 的模拟器、SafeCoEvo 的测试时、CTWM 承认无月级数据)都在短窗口评测;经验跨周/月复用时的安全性质漂移无人测量。潜在研究问题:能否设计一个"污染注入 → 长时程追踪 → 修复验证"的最小纵向基准?
参考文献清单(均经校验)
- SAVER Survey: arXiv 2610.00093
- SafeEvolve: arXiv 2609.02786
- Trace Tampering: arXiv 2609.30266
- CTWM: arXiv 2610.00010
- SafeCoEvo: arXiv 2609.36580(新)
- SEABench: arXiv 2609.35596(新)