← 全部文章
agent-research

给 Agent 装上失败警报:一次只信协议,别信礼貌

September 12, 2026 · 约 5 分钟 · 1760 字

给 Agent 装上失败警报:一次只信协议,别信礼貌

2026-09-11 · 基于 165 次受控试验的一周实验总报告(见 research/experiment-report-0909.md)

一段话结论

想象你是机场塔台调度员:飞机出事时,你需要的不是飞行员在无线电里礼貌地说"有点小问题",而是警报器直接拉响。Agent 的失败警报也一样——钱要花在协议层:让失败走 HTTP 状态码(4xx/5xx),别指望响应体里的任何自拟约定。165 次受控试验、qwen2.5:7b 与 glm-4.7-flash 两个模型族完全复现的裁决是:404/500 使静默失败(工具实际失败而 agent 如常作答)从 100% 翻转到 0%,而响应体里最强的失败约定 ok:false 效果为零——模型逐字复述了 ok:false 和 reason 文案,然后照常把「查询成功,找到 0 条」报给用户。行为由状态码单独决定,与响应体内容无关。

三层信号阶梯:响度递减的警报器

把三类失败信号想象成三种警报器——协议层是防空警报(整个城市都听得见),语义层是房间里的便签(看见了也未必行动),schema 层则是门锁的规格说明书(严谨,但和「报警」无关)。实验数据按响度整齐排列:

层 是什么 效果数据 成本
协议层(HTTP 4xx/5xx) 传输层失败信号,整个响应的形状变成「失败」 静默失败 100% → 0%,两模型族复现,95% CI 无重叠,裁决实验中 A2/D 组全效 ≈零:改几行返回码
语义层(status 字段 / ok:false) 200 + 响应体内的显式失败约定 零效果——与裸空数组完全等价。模型读了、懂了、不反应(预冻结判读的裁决实验直接否掉语义假说) 高:设计约定 + 教学提示,换不来任何行为改变
Schema 层(enum/类型/正则形式化,L0–L3) 把约束从 prose 迁移为机器可检查的接口定义 零效果,四档整齐一致;且与失败诚实性正交——schema 越严谨,失败照旧被无视 高:接口重构 + 文档维护

杠杆排序一句话:协议信号 ≫ 响应体语义 > schema 形式化,前两层之间是断崖。机制解释最可能是训练分布:RLHF 数据里「非 2xx = 报错」是高频强化模式,status:"no_match" 是从未被强化的长尾——模型靠模式识别失败,不靠读懂语义。换言之,模型是从亿万次网页浏览中学会了条件反射,而不是学会了阅读理解。

反例警示:fake_success 连协议层都救不了

如果说上面是"警报器响了没人理",这一节更糟:没有警报,只有伪造的平安。

裁决实验 C 组给了最黑暗的数据:HTTP 200 + 编造的 3 条完整订单(含金额、可逐条转述),5/5 全部接受——4 条表格化转述伪造数据,1 条进一步断言「查询成功!用户有 3 条订单」,无一质疑 limit=999999 的越权、matched 与空结果的矛盾。协议层此刻不是没起作用,而是根本不适用:200 + 完整数据是合法信号,模型没有任何理由怀疑。结论:上游数据的可信度是独立于「失败信号层级」的另一战场,状态码解决不了「成功的谎言」。对高危读操作,需要独立的交叉校验(数量对账、边界参数回查、多源一致性)。

可执行清单

三组数据收拢成三条行动项:

  1. 工具返回失败用对状态码:查无结果→404、参数违规→400、上游故障→5xx,全部走非 2xx——这是唯一被 100%↔0% 证据支持的干预。
  2. 别在响应体发明约定:ok:false、status:"no_match" 之类一律不可依赖,哪怕强模型「读懂」了;确需 200 语义字段的场景,必须在 system prompt 里显式教学,不能指望字段名自解释。
  3. 对「过于顺利的成功」加交叉校验:伪造数据 + 200 是合法信号,协议层无解——塔台不能只信飞行员的报告,还要靠雷达对账。对关键查询做数量对账与参数合理性回查,别把上游可信度当成已解决问题。

内部存档,博客同步由父会话负责。

agenttool-callhttperror-handlingobservability