[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fVsxDcJoWzzYIBbEkVNlvPvhDKuDhjAyP9iFFMZuDcQo":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},25,"错误码 > 语义字段：一个反直觉的 Agent 工具设计发现","error-codes-beat-semantic-fields","# 错误码 > 语义字段：一个反直觉的 Agent 工具设计发现\n\n## 直觉假设，被实验打脸\n\n昨天的教程（[你的 Agent 在对失败装瞎](tool-response-design-0906.md)）给出的第一条规则就是「语义状态字段」：在响应体里加 `status: \"no_match\"`，显式告诉模型失败了，别让它从空数组里猜。直觉上这应该有用——把失败「说清楚」，模型总该听见吧？\n\n我们的第二 批实验说：**没用。** status 字段和裸空数组的表现一模一样，静默失败率都是 100%。真正把失败率打到 0% 的，是一个我们没抱期望的东西——HTTP 404 错误码。\n\n## 实验：双轮管线，60 trials\n\n先交代方法，因为这个结论差点被我们自己的管线废掉。第一版实验是单轮的：模型从未真正看到工具响应，答案是幻觉文本，数据全部作废（教训见文末）。修复后的双轮管线：第一轮给模型工具 schema + 任务指令，走 qwen2.5:7b 的原生 tool-calling 解析出调用参数；我们直调 mock server 拿到真实响应；第二轮把响应以 tool result 回灌，采集模型的最终回答。\n\n条件：search_orders 工具 + silent 注入（查询注定无匹配），4 档 schema 形式化（L0-L3）× 3 种响应风格 × 5 trials = 60 trials，双标注 κ=1.0。\n\n| 响应风格 | 静默失败 \u002F n | SF 率 [Wilson 95% CI] |\n|---|---|---|\n| bare（HTTP 200 + 空数组） | 20\u002F20 | 100% [84%, 100%] |\n| semantic（200 + `status:\"no_match\"` 字段） | 20\u002F20 | 100% [84%, 100%] |\n| error4xx（HTTP 404） | 0\u002F20 | 0% [0%, 16%] |\n\n两个结果：404 使静默失败从 100% 降到 0%，CI 无重叠；status 字段与 bare 完全无差异——模型收到 `{\"status\":\"no_match\",...}` 后的行为和收到空数组一致，如实转述「没找到订单」，但从不把失败显式化。L0-L3 四档 schema 对结果也是零影响。\n\n## 为什么 404 有效，status 字段无效？\n\n三个假说，待验证但彼此独立：\n\n**1. 训练分布。** 预训练和微调数据里，HTTP 错误码是高频模式——海量的 API 文档、日志、Stack Overflow、错误处理代码都在教模型「404 = 没找到」。而 `status: \"no_match\"` 是低频的自定义约定，模型没有先验把它当成强信号，只当作普通内容字段读了一遍。\n\n**2. 协议层级。** 4xx 是传输层的失败信号，在工具调用框架里通常伴随错误处理路径——模型无法「礼貌忽略」它。而响应体里的任何字段都只是内容的一部分，和 `matched_count: 0` 平级，模型可以读完然后选择性地不强调。失败一旦降格为内容，就失去了告警的强制性。\n\n**3. 注意力显著性。** 一个占据整个响应的错误对象（`{\"error\": {\"code\": ..., \"message\": ...}}`）和一个埋在成功结构里的字段，在注意力上的认知权重完全不同。404 把整个响应的形状都变成了「失败」，status 字段只是成功形状里的一个暗示。\n\n三个假说共同指向一件事：**模型对失败的识别靠的是模式，不是语义。** 我们昨天建议的「说清楚失败」走的是语义路线，实验证明这条路对 7B 模型走不通——要用模式最强的那一种：标准错误码。\n\n## 实践启示\n\n1. **工具失败用 HTTP 状态码表达，别只靠响应体字段。** 查无结果、参数违规、权限不足，都应该映射到非 2xx 状态码，而不是 200 + status 字段。这是本实验唯一被证明有效的干预。\n2. **自定义语义约定必须配合 system prompt 显式教学。** 如果你确实需要在响应体里定义语义字段（比如业务上有理由返回 200），那就要在 system prompt 里逐字段解释含义和应对策略——不能指望模型从字段名猜出意图。\n3. **测试 agent 工具行为要用双轮管线。** 我们的教训：单轮实验里模型从未真正看到响应，「结论」全是幻觉产物。任何声称测过「模型如何读响应」的实验，先确认响应真的进入了上下文。\n\n## 开放问题\n\n更强模型（GPT-4 级）是否会尊重 status 字段？7B 模型的失败可能是容量问题而非格式问题——大模型或许能从上下文推断出语义字段的意图。另外，训练分布假说可以通过一个对照实验检验：用 HTTP 标准码以外的自定义数字码（如 `{\"code\": 40001}`），看效果是否衰减到 status 字段的水平。\n\n**样本量声明**：n=20\u002F组，每组 5 trials × 4 档。100% ↔ 0% 属大效应，结论可信；但「semantic 与 bare 无差异」是等价性声明，中等以下效应需要每组 ≥30 trials 才能排除。单模型、单工具，外推需谨慎。\n","我们的一手实验：404 错误码使 Agent 静默失败 100%→0%，而 status 语义字段完全无效。三个假说解释为什么模型靠模式而非语义识别失败。",null,"AI教程","agent, error-handling, HTTP-status, experiment, qwen",true,"2026-09-07T19:20:05.000Z",1794201864933]