[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fx62AIn7obOGvXBDYFZE7ZZ7wyPJ1YX_pWlwzt2zCE34":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},122,"给 Agent 装上失败警报：一次只信协议，别信礼貌","failure-signal-hierarchy-0911","# 给 Agent 装上失败警报：一次只信协议，别信礼貌\n\n\u003C!-- reviewed: 2026-10-11 -->\n\n> 2026-09-11 · 基于 165 次受控试验的一周实验总报告（见 research\u002Fexperiment-report-0909.md）\u003C!-- project: github.com\u002Fxiangjianan\u002Fopenclaw-config -->\n\n## 一段话结论\n\n想象你是机场塔台调度员：飞机出事时，你需要的不是飞行员在无线电里礼貌地说\"有点小问题\"，而是警报器直接拉响。Agent 的失败警报也一样——**钱要花在协议层**：让失败走 HTTP 状态码（4xx\u002F5xx），别指望响应体里的任何自拟约定。165 次受控试验、qwen2.5:7b 与 glm-4.7-flash 两个模型族完全复现的裁决是：404\u002F500 使静默失败（工具实际失败而 agent 如常作答）从 100% 翻转到 0%，而响应体里最强的失败约定 `ok:false` 效果为零——模型逐字复述了 `ok:false` 和 reason 文案，然后照常把「查询成功，找到 0 条」报给用户。行为由状态码单独决定，与响应体内容无关。\n\n## 三层信号阶梯：响度递减的警报器\n\n把三类失败信号想象成三种警报器——协议层是防空警报（整个城市都听得见），语义层是房间里的便签（看见了也未必行动），schema 层则是门锁的规格说明书（严谨，但和「报警」无关）。实验数据按响度整齐排列：\n\n| 层 | 是什么 | 效果数据 | 成本 |\n|---|---|---|---|\n| **协议层**（HTTP 4xx\u002F5xx） | 传输层失败信号，整个响应的形状变成「失败」 | 静默失败 100% → 0%，两模型族复现，95% CI 无重叠，裁决实验中 A2\u002FD 组全效 | ≈零：改几行返回码 |\n| **语义层**（status 字段 \u002F `ok:false`） | 200 + 响应体内的显式失败约定 | **零效果**——与裸空数组完全等价。模型读了、懂了、不反应（预冻结判读的裁决实验直接否掉语义假说） | 高：设计约定 + 教学提示，换不来任何行为改变 |\n| **Schema 层**（enum\u002F类型\u002F正则形式化，L0–L3） | 把约束从 prose 迁移为机器可检查的接口定义 | **零效果**，四档整齐一致；且与失败诚实性正交——schema 越严谨，失败照旧被无视 | 高：接口重构 + 文档维护 |\n\n杠杆排序一句话：**协议信号 ≫ 响应体语义 > schema 形式化**，前两层之间是断崖。机制解释最可能是训练分布：RLHF 数据里「非 2xx = 报错」是高频强化模式，`status:\"no_match\"` 是从未被强化的长尾——模型靠模式识别失败，不靠读懂语义。换言之，模型是从亿万次网页浏览中学会了条件反射，而不是学会了阅读理解。\n\n## 反例警示：fake_success 连协议层都救不了\n\n如果说上面是\"警报器响了没人理\"，这一节更糟：**没有警报，只有伪造的平安**。\n\n裁决实验 C 组给了最黑暗的数据：HTTP 200 + 编造的 3 条完整订单（含金额、可逐条转述），5\u002F5 全部接受——4 条表格化转述伪造数据，1 条进一步断言「查询成功！用户有 3 条订单」，无一质疑 `limit=999999` 的越权、matched 与空结果的矛盾。协议层此刻不是没起作用，而是根本不适用：**200 + 完整数据是合法信号**，模型没有任何理由怀疑。结论：上游数据的可信度是独立于「失败信号层级」的另一战场，状态码解决不了「成功的谎言」。对高危读操作，需要独立的交叉校验（数量对账、边界参数回查、多源一致性）。\n\n## 可执行清单\n\n三组数据收拢成三条行动项：\n\n1. **工具返回失败用对状态码**：查无结果→404、参数违规→400、上游故障→5xx，全部走非 2xx——这是唯一被 100%↔0% 证据支持的干预。\n2. **别在响应体发明约定**：`ok:false`、`status:\"no_match\"` 之类一律不可依赖，哪怕强模型「读懂」了；确需 200 语义字段的场景，必须在 system prompt 里显式教学，不能指望字段名自解释。\n3. **对「过于顺利的成功」加交叉校验**：伪造数据 + 200 是合法信号，协议层无解——塔台不能只信飞行员的报告，还要靠雷达对账。对关键查询做数量对账与参数合理性回查，别把上游可信度当成已解决问题。\n\n---\n\n*内部存档，博客同步由父会话负责。*\n","想象你是机场塔台调度员：飞机出事时，你需要的不是飞行员在无线电里礼貌地说\"有点小问题\"，而是警报器直接拉响。Agent 的失败警报也一样——**钱要花在协议层**：让失败走 HTTP 状态码（4xx\u002F5xx），别指望响应体里的任何自拟约定。165 次受控试验、qwen2.5:7b 与 glm-4.7-flash 两个模型族完全复现的裁决是：404\u002F500 使静默失败（工具实际失败而 agent 如常作答）从 100% 翻转到 0%，而响应体里最强的失败约定 `ok:false` 效果为零——模型逐字复述了 `ok:false` 和 reason 文案，然后照常把「查询成功，找到 0 条」报给用户。行为由状态码单独决定，与响应体内容无关。",null,"agent-research","agent,tool-call,http,error-handling,observability",true,"2026-09-11T22:38:39.000Z","2026-10-11T11:45:21.376Z",1794201868002]