消失的四个环节:你的 Agent 失败可能被吞在哪里
消失的四个环节:你的 Agent 失败可能被吞在哪里
2026-10-21 · AI 安全/可靠性系列第 6 篇 · 基于 45 条失效样本的分类学全量标注(v0.2,见 research/taxonomy-v2-full-annotation-1020.md)
排查 Agent 故障时,最挫败的从来不是「它失败了」,而是「它失败了,但整个系统都没察觉」——没有报错、没有日志告警、评估指标甚至显示一切正常。我们对两个模型族、六种失败注入风格的 45 条失效轨迹做了逐条归因标注,结论是:失败不是单点事件,而是一条信号链,它可能在四个环节中的任何一环被吞掉。
四个消失环节
对每个失效样本,只问一个问题:失败信号在哪一环变得不可观测?
W 写入环节——失败根本没被记录
响应体里就没有任何失败痕迹。典型例子:工具调用返回 HTTP 200 + 空列表,失败只存在于任务语义层面——任何下游审计者重放 trace 也无法复原失败。更阴险的变体是 fake_success:200 + 编造的完整订单数据,「成功的谎言」合法得无懈可击。 谁负责:工具/接口作者。写入层是第一道也是最便宜的一道闸门。
A 激活环节——记录了但没人读
信号写进了 trace,但从未被检索或回灌进模型上下文。记忆/技能系统里最常见:写入了教训,下次会话检索不到,等于没写。我们的单轮实测中此级为 0,但它主要潜伏在跨会话复用场景——暂列理论级。 谁负责:记忆/检索系统作者。写入不等于激活,要有检索命中证明。
E 执行环节——读了但不反应
信号已回灌进模型,模型甚至逐字理解了它,行为却纹丝不动。我们的教科书案例:模型在回复中原样转述 ok: false / reason: no orders matched,随后宣布「查询成功」。这是比没看到更强的否定证据——它看见了,然后无视了。
谁负责:harness/编排层作者。要有独立于模型自述的行为监控。
N 归因环节——反应了但评估看不见
模型行为确有变化(漂移、歧义输出),但标注判据体系看不见或无法定因,失败被笼统归入「模型不稳定」。实测中最典型的样本:对照与重采样同时漂移,归因判据整体失效。 谁负责:评估体系作者——往往就是你自己。
关键洞察:N 几乎从不独立出现
这是全量标注的最大发现。v0.1 曾预期 N 是一个独立类别,但 45 条数据显示:N 作为主环节出现 0 次,作为附加环节出现 27 次——叠加消失占 60%(27/45)。最大组合是 E+N(44%):信号好不容易闯过了执行层,又在归因层被判据体系吞掉一次。
换句话说:评估判据体系的盲区比模型盲区更普遍。你可能已经修好了模型——它转述了错误、漂移了输出、给出了可观察的反应——但你的标注体系还停留在单选标注、未冻结的判据上,把这些信号全部归入「不可定因」。单选标注会丢掉近半样本的归因层信息;v0.1 试标注的 2 处「E/N 边界犹豫」,全部被「主环节 + 附加环节」双字段消解——那不是类间混淆,是叠加消失。
甚至有 2 条 fake_success 呈现 W+E+N 三连消失:写入层无失败痕迹 → 模型把编造订单当真转述 → 归因层采样漂移不可定因。三层同删一个失败,系统全程绿灯。
防御清单(按环节)
- W:工具失败用对状态码——查无结果 404、参数违规 400、上游故障 5xx;重放 trace 应能检测失败。
- A:记忆/教训写入后必须验证回灌——断言检索命中 + 回放进上下文,写入不等于激活。
- E:失败信号走协议层(前作已证 100%→0% 的唯一有效干预)+ 独立审计模型行为,别信模型对成功的自我宣称。
- N:标注判据预冻结(开跑前定死「什么算失败」)+ 双字段标注(主环节单选 + 附加环节多选),别让归因层成为信号的黑洞。
收束
系列前作《失败信号阶梯》回答的是「模型听不听得见」——协议层信号是防空警报,语义约定是门锁说明书。本篇的分类学回答的是更前置的问题:「你看不看得到」。四个环节,任何一环都可能让失败对整个系统隐形;而最先要修的,往往不是模型,是你自己的观测与归因体系。
系列前作:failure-signal-hierarchy-0911.md(失败信号阶梯)。仅内部存档,博客同步由父会话负责。