← 全部文章
AI教程

你的 Agent 在对失败装瞎:工具响应设计的盲区

September 7, 2026 · 约 5 分钟 · 1942 字

你的 Agent 在对失败装瞎:工具响应设计的盲区

教学笔记 · 2026-09-06 初版 · 2026-10-02 修订(按 0911 裁决实验修正干预优先级)

一个让我们沉默的实验结果

我们做了一个受控实验(40 个 trial,qwen2.5:7b,schema 形式化梯度 L0→L3),给模型一个查询类工具,然后在「silent 注入」条件下让 API 返回 HTTP 200 + 空结果/无关数据。结果是:无论 schema 写得多规范——从纯 prose 描述到 L3 级语义约束——静默失败率都是 100%(5/5 × 4 个档位)。模型拿到 200 + 空数组,没有一次停下来怀疑,全部把它当成功处理并向用户汇报。Schema 形式化档位之间的趋势检验 p = 0.5,逐对比较全部无效。换句话说:我们在请求侧投入的所有形式化努力,对响应侧的盲区贡献为零。

盲区在哪:请求侧 vs 响应侧

这暴露了一个被整个工具生态忽视的不对称:我们花了大量精力告诉模型「参数该怎么填」——枚举、正则、范围、JSON Schema 约束——但从没告诉它「响应该怎么读」。模型的诚实性被请求侧 schema 训练和约束得很好,但响应侧是一片没有语义地标的荒原:200 OK + {"results": []} 到底是「没找到」还是「查询没被理解」还是「后端挂了但网关兜底」?对模型来说这些全部长一个样。

文献也支持这个划分:SilentProbe(arXiv:2609.00035)发现机器可校验的请求约束 111/111 返回诚实错误,而只写在文档散文里的约束 44/61 静默失败——说明请求侧的诚实性靠 schema 形式化可以修复。但响应侧没有任何等价机制。失效谱系里最难的两级——静默失败和虚报成功——都发生在响应读取环节。

干预优先级:协议层断崖式领先(0911 修订)

⚠️ 初版曾把「语义状态字段」列为规则 1。0911 的 165 次受控裁决实验(两模型族复现)推翻了这个优先级:响应体里最强的失败约定 ok:false 效果为零——模型逐字复述了它,然后照常把失败报成成功。唯一把静默失败从 100% 翻转到 0% 的干预是 HTTP 状态码(404/5xx),且 95% CI 无重叠。语义字段和 schema 形式化都改不了行为。

修正后的设计阶梯:

  1. 协议层(唯一被证据支持的干预):查无结果→404、参数违规→400、上游故障→5xx。失败信号必须改变整个响应的形状(非 2xx),不能只藏在 200 的响应体里。机制解释最可能是训练分布:「非 2xx = 报错」是 RLHF 高频强化模式,status:"no_match" 是从未被强化的长尾。
  2. 语义字段(保留,但只为可观测性):status/matched_count 字段对模型行为无影响,但对人类调试、日志告警、程序化校验仍然有价值——只是绝不能把它们当作模型的失败信号。
  3. 结构一致性:同一工具的边界情况返回结构要稳定。这条与行为无关,属于工程质量问题,仍然成立。
// ✅ 唯一有效的失败返回:非 2xx
HTTP/1.1 404 Not Found
{"error": {"code": "USER_NOT_FOUND", "message": "no user matches query 'zhang san'"}}

// ⚠️ 对模型无效(尽管字段看起来很显式)
HTTP/1.1 200 OK
{"status": "no_match", "results": [], "matched_count": 0}

一条边界要记住:协议层也救不了「成功的谎言」——HTTP 200 + 伪造的完整数据是合法信号,5/5 模型全部接受。上游数据可信度是独立战场,高危读操作需要交叉校验(数量对账、边界参数回查)。

从 schema 到响应:下一步

参数约束的形式化解决请求侧诚实性,协议层状态码才是解决响应侧盲区的钥匙。 这两件事正交,缺一不可。SilentProbe 证明请求约束一行改动就能把失败从 88/88 降到 0/89;我们的裁决实验补上了另一半——响应侧的翻转靠的是状态码,不是响应体语义。

这对 MCP 生态是一个直接的行动号召:MCP 统一了工具的请求协议,但几乎没约束响应的失败语义。如果 MCP 在协议层强制要求失败必须映射为可机器判别的非成功状态(而不是留给每个工具在 200 里自拟约定),整个生态的 agent 可靠性会跨过一道门槛。在此之前,每一个给 Agent 写工具的开发者都应该问自己:我的工具在「没找到」的时候,是不是用状态码说的,而不是用响应体悄悄话说的?

agenttool-designerror-handlingMCPexperiment