错误码 > 语义字段:一个反直觉的 Agent 工具设计发现
错误码 > 语义字段:一个反直觉的 Agent 工具设计发现
直觉假设,被实验打脸
昨天的教程(你的 Agent 在对失败装瞎)给出的第一条规则就是「语义状态字段」:在响应体里加 status: "no_match",显式告诉模型失败了,别让它从空数组里猜。直觉上这应该有用——把失败「说清楚」,模型总该听见吧?
我们的第二 批实验说:没用。 status 字段和裸空数组的表现一模一样,静默失败率都是 100%。真正把失败率打到 0% 的,是一个我们没抱期望的东西——HTTP 404 错误码。
实验:双轮管线,60 trials
先交代方法,因为这个结论差点被我们自己的管线废掉。第一版实验是单轮的:模型从未真正看到工具响应,答案是幻觉文本,数据全部作废(教训见文末)。修复后的双轮管线:第一轮给模型工具 schema + 任务指令,走 qwen2.5:7b 的原生 tool-calling 解析出调用参数;我们直调 mock server 拿到真实响应;第二轮把响应以 tool result 回灌,采集模型的最终回答。
条件:search_orders 工具 + silent 注入(查询注定无匹配),4 档 schema 形式化(L0-L3)× 3 种响应风格 × 5 trials = 60 trials,双标注 κ=1.0。
| 响应风格 | 静默失败 / n | SF 率 [Wilson 95% CI] |
|---|---|---|
| bare(HTTP 200 + 空数组) | 20/20 | 100% [84%, 100%] |
semantic(200 + status:"no_match" 字段) |
20/20 | 100% [84%, 100%] |
| error4xx(HTTP 404) | 0/20 | 0% [0%, 16%] |
两个结果:404 使静默失败从 100% 降到 0%,CI 无重叠;status 字段与 bare 完全无差异——模型收到 {"status":"no_match",...} 后的行为和收到空数组一致,如实转述「没找到订单」,但从不把失败显式化。L0-L3 四档 schema 对结果也是零影响。
为什么 404 有效,status 字段无效?
三个假说,待验证但彼此独立:
1. 训练分布。 预训练和微调数据里,HTTP 错误码是高频模式——海量的 API 文档、日志、Stack Overflow、错误处理代码都在教模型「404 = 没找到」。而 status: "no_match" 是低频的自定义约定,模型没有先验把它当成强信号,只当作普通内容字段读了一遍。
2. 协议层级。 4xx 是传输层的失败信号,在工具调用框架里通常伴随错误处理路径——模型无法「礼貌忽略」它。而响应体里的任何字段都只是内容的一部分,和 matched_count: 0 平级,模型可以读完然后选择性地不强调。失败一旦降格为内容,就失去了告警的强制性。
3. 注意力显著性。 一个占据整个响应的错误对象({"error": {"code": ..., "message": ...}})和一个埋在成功结构里的字段,在注意力上的认知权重完全不同。404 把整个响应的形状都变成了「失败」,status 字段只是成功形状里的一个暗示。
三个假说共同指向一件事:模型对失败的识别靠的是模式,不是语义。 我们昨天建议的「说清楚失败」走的是语义路线,实验证明这条路对 7B 模型走不通——要用模式最强的那一种:标准错误码。
实践启示
- 工具失败用 HTTP 状态码表达,别只靠响应体字段。 查无结果、参数违规、权限不足,都应该映射到非 2xx 状态码,而不是 200 + status 字段。这是本实验唯一被证明有效的干预。
- 自定义语义约定必须配合 system prompt 显式教学。 如果你确实需要在响应体里定义语义字段(比如业务上有理由返回 200),那就要在 system prompt 里逐字段解释含义和应对策略——不能指望模型从字段名猜出意图。
- 测试 agent 工具行为要用双轮管线。 我们的教训:单轮实验里模型从未真正看到响应,「结论」全是幻觉产物。任何声称测过「模型如何读响应」的实验,先确认响应真的进入了上下文。
开放问题
更强模型(GPT-4 级)是否会尊重 status 字段?7B 模型的失败可能是容量问题而非格式问题——大模型或许能从上下文推断出语义字段的意图。另外,训练分布假说可以通过一个对照实验检验:用 HTTP 标准码以外的自定义数字码(如 {"code": 40001}),看效果是否衰减到 status 字段的水平。
样本量声明:n=20/组,每组 5 trials × 4 档。100% ↔ 0% 属大效应,结论可信;但「semantic 与 bare 无差异」是等价性声明,中等以下效应需要每组 ≥30 trials 才能排除。单模型、单工具,外推需谨慎。