[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fMoY2GJNkLkMFgWDw0Rezhx4viHv0e48Qu-RZo6xFjhw":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},23,"你的 Agent 在对失败装瞎：工具响应设计的盲区","agent-tool-response-design-blindspot","\u003C!-- reviewed: 2026-10-02 -->\u003C!-- project: github.com\u002Fxiangjianan\u002Fopenclaw-config -->\n# 你的 Agent 在对失败装瞎：工具响应设计的盲区\n\n> 教学笔记 · 2026-09-06 初版 · 2026-10-02 修订（按 0911 裁决实验修正干预优先级）\n\n## 一个让我们沉默的实验结果\n\n我们做了一个受控实验（40 个 trial，qwen2.5:7b，schema 形式化梯度 L0→L3），给模型一个查询类工具，然后在「silent 注入」条件下让 API 返回 HTTP 200 + 空结果\u002F无关数据。结果是：**无论 schema 写得多规范——从纯 prose 描述到 L3 级语义约束——静默失败率都是 100%（5\u002F5 × 4 个档位）**。模型拿到 200 + 空数组，没有一次停下来怀疑，全部把它当成功处理并向用户汇报。Schema 形式化档位之间的趋势检验 p = 0.5，逐对比较全部无效。换句话说：我们在请求侧投入的所有形式化努力，对响应侧的盲区贡献为零。\n\n## 盲区在哪：请求侧 vs 响应侧\n\n这暴露了一个被整个工具生态忽视的不对称：我们花了大量精力告诉模型「参数该怎么填」——枚举、正则、范围、JSON Schema 约束——但从没告诉它「响应该怎么读」。模型的诚实性被请求侧 schema 训练和约束得很好，但响应侧是一片没有语义地标的荒原：`200 OK` + `{\"results\": []}` 到底是「没找到」还是「查询没被理解」还是「后端挂了但网关兜底」？对模型来说这些全部长一个样。\n\n文献也支持这个划分：SilentProbe（arXiv:2609.00035）发现机器可校验的请求约束 111\u002F111 返回诚实错误，而只写在文档散文里的约束 44\u002F61 静默失败——说明请求侧的诚实性靠 schema 形式化可以修复。但响应侧没有任何等价机制。失效谱系里最难的两级——静默失败和虚报成功——都发生在响应读取环节。\n\n## 干预优先级：协议层断崖式领先（0911 修订）\n\n> ⚠️ 初版曾把「语义状态字段」列为规则 1。0911 的 165 次受控裁决实验（两模型族复现）**推翻了这个优先级**：响应体里最强的失败约定 `ok:false` 效果为零——模型逐字复述了它，然后照常把失败报成成功。**唯一把静默失败从 100% 翻转到 0% 的干预是 HTTP 状态码**（404\u002F5xx），且 95% CI 无重叠。语义字段和 schema 形式化都改不了行为。\n\n修正后的设计阶梯：\n\n1. **协议层（唯一被证据支持的干预）**：查无结果→404、参数违规→400、上游故障→5xx。失败信号必须改变整个响应的形状（非 2xx），不能只藏在 200 的响应体里。机制解释最可能是训练分布：「非 2xx = 报错」是 RLHF 高频强化模式，`status:\"no_match\"` 是从未被强化的长尾。\n2. **语义字段（保留，但只为可观测性）**：`status`\u002F`matched_count` 字段对模型行为无影响，但对人类调试、日志告警、程序化校验仍然有价值——只是**绝不能把它们当作模型的失败信号**。\n3. **结构一致性**：同一工具的边界情况返回结构要稳定。这条与行为无关，属于工程质量问题，仍然成立。\n\n```json\n\u002F\u002F ✅ 唯一有效的失败返回：非 2xx\nHTTP\u002F1.1 404 Not Found\n{\"error\": {\"code\": \"USER_NOT_FOUND\", \"message\": \"no user matches query 'zhang san'\"}}\n\n\u002F\u002F ⚠️ 对模型无效（尽管字段看起来很显式）\nHTTP\u002F1.1 200 OK\n{\"status\": \"no_match\", \"results\": [], \"matched_count\": 0}\n```\n\n一条边界要记住：协议层也救不了「成功的谎言」——HTTP 200 + 伪造的完整数据是合法信号，5\u002F5 模型全部接受。上游数据可信度是独立战场，高危读操作需要交叉校验（数量对账、边界参数回查）。\n\n## 从 schema 到响应：下一步\n\n**参数约束的形式化解决请求侧诚实性，协议层状态码才是解决响应侧盲区的钥匙。** 这两件事正交，缺一不可。SilentProbe 证明请求约束一行改动就能把失败从 88\u002F88 降到 0\u002F89；我们的裁决实验补上了另一半——响应侧的翻转靠的是状态码，不是响应体语义。\n\n这对 MCP 生态是一个直接的行动号召：MCP 统一了工具的请求协议，但几乎没约束响应的失败语义。如果 MCP 在协议层强制要求失败必须映射为可机器判别的非成功状态（而不是留给每个工具在 200 里自拟约定），整个生态的 agent 可靠性会跨过一道门槛。在此之前，每一个给 Agent 写工具的开发者都应该问自己：我的工具在「没找到」的时候，是不是用状态码说的，而不是用响应体悄悄话说的？\n","我们的一手实验：40 个 trial 中模型拿到「HTTP 200+空结果」100% 当成功，schema 形式化档位无关。失败可观测性不在请求侧而在响应侧——4 条工具响应设计规则。",null,"AI教程","agent, tool-design, error-handling, MCP, experiment",true,"2026-09-06T19:19:52.000Z","2026-10-02T11:46:23.000Z",1794201864514]