[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fptI6JJS4cdqmyBU6QcGdJFEChXi2cUb2LgczM88miuo":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},26,"Agent 失败的两种面孔：捏造数据与合理化异常","agent-silent-failure-morphology","\u003C!-- reviewed: 2026-11-07 -->\n\u003C!-- project: github.com\u002Fxiangjianan\u002Fopenclaw-config -->\n# Agent 失败的两种面孔：捏造数据与合理化异常\n\n> 教学笔记 · 2026-09-08 · 基于 RQ-C 实验（qwen2.5:7b 双轮管线 + glm-4.7-flash 跨模型复现）\n\n一说 Agent 不可靠，大家脑子里蹦出来的词都是\"幻觉\"。但\"幻觉\"是一个把所有病症都塞进去的垃圾桶诊断——就像医生把\"发烧\"当确诊，感冒和败血症的处方怎么会一样？我们在 search_orders 工具上跑的失败注入实验发现：Agent 的失败并不是一种东西，而是**两种质变不同的形态**——它们的发生机制、危害面、对策完全不同，用\"幻觉\"一个词笼统对待，会让你防住一种、漏掉另一种。\n\n## 形态一：捏造数据（Fabrication）\n\n先看最显眼的形态。这是单轮管线下我们观察到的失败：模型从未见过工具的真实响应，却凭空编造了一份订单列表——订单号、金额、状态，写得有模有样。像考生没拿到考卷却交出了满分答卷：答案不是答出来的，是编出来的。\n\n**特征：**\n- **无输入依赖**：输出和工具响应之间没有任何因果联系，纯粹是语言模型的\"脑补\"\n- **内容自信**：文本流畅、格式规范，没有任何犹豫的痕迹\n- **与真实世界脱钩**：编造的数据在系统里根本不存在\n\n**危害**：用户拿到的是假数据，可能基于它做真实的决策。\n\n**对策**：关键洞察是——**这往往是管线问题，不是模型问题**。我们的单轮管线里，工具响应根本没有回灌到模型的第二轮上下文。修复方式是改双轮管线：第一轮模型发起 tool call，服务端执行，第二轮把 JSON 响应体作为 tool result 回灌。修复后捏造完全消失，模型开始引用真实响应内容。所以遇到\"模型编数据\"，先检查你的管线是否真的把工具结果喂回去了，再考虑换模型——大多数时候，锅在管线不在模型。\n\n你可能会想：把响应喂回去不就万事大吉了？我们的数据恰恰说明没有——修好管线，只是关掉了第一扇没锁的门。\n\n## 形态二：合理化异常（Anomaly Rationalization）\n\n双轮管线修复后，捏造消失了，但另一种更隐蔽的失败浮现出来。模型如实转述\"没有找到符合条件的订单\"——这句话是**真实的**，但它对请求参数里 `limit=999999` 超过系统上限 90 这一越权值**毫无警觉**。它接受了异常，并把异常结果中性化地转述给用户。\n\n**特征：**\n- **局部真实**：每一句转述都忠实于工具响应，单看无懈可击\n- **整体失察**：参数违反约束这件事，从头到尾没有被识别\n- **语气中性**：不报错、不警告，就像一次正常的\"查无结果\"\n\n**危害**：比捏造更危险。用户以为系统在正常运行，实际上约束已经被突破——越权查询没有触发任何显式信号。捏造至少会在数据对不上时暴露，而合理化异常是\"看起来一切正常\"。\n\n**跨模型稳健性**：这个形态不是某个模型的怪癖。我们在 glm-4.7-flash 上复现：bare 注入下静默失败 20\u002F20（100%），与 qwen 完全一致；同时两模型在 404 错误码下都 100% 转为显式报错。两个不同模型族表现出同一模式，说明这是 LLM 工具调用的普遍行为，而非训练分布的偶然。\n\n## 两种形态对比\n\n把两种形态并排放在一起，差异一目了然：\n\n| 维度 | 形态一：捏造数据 | 形态二：合理化异常 |\n|---|---|---|\n| 发生条件 | 工具响应未回灌（管线缺陷） | 响应真实回灌，但异常未被协议层标记 |\n| 模型做了什么 | 凭空编造不存在的数据 | 如实转述，但对越权参数零警觉 |\n| 可检测性 | 相对易发现（数据对不上就穿帮） | 极难发现（输出与响应完全一致） |\n| 危害面 | 用户基于假数据决策 | 约束被突破却无任何信号，系统\"看似正常\" |\n| 对策 | 修管线：确保响应真实回灌 | 协议层信号：让失败在协议上显式化 |\n\n## 对策与开放问题\n\n表格看完了，请注意对策那一列的本质区别：形态一的对策在**你的管线代码**里，形态二的对策在**协议层**。\n\n我们的实验里有个精确的证据：给响应加语义字段（`status: no_match`）对两个模型都完全无效——模型照常中性转述；但把响应换成 404 错误码，静默失败瞬间从 100% 降到 0%。也就是说，模型靠**模式而非语义**识别失败：非 2xx 状态码的注意力显著性碾压了任何自定义语义字段。\"404 有效而语义字段无效\"指向的解法是：让约束违反在协议层产生显式错误信号，而不是指望模型自己读懂 JSON 里的语义提示。\n\n最后留一个开放问题：**这两种形态，哪种在你的生产环境里更常见？** 形态一因为醒目、有现成的话术（\"幻觉\"）、有成熟的管线修复方案，大部分团队都防了。但形态二——每一次越权参数被中性转述、每一个被默默接受的异常值——可能正在你的系统里天天发生，只是没有人把它标记为失败。我们怀疑，大部分团队只防住了形态一。\n\n一句话收束：**捏造是 Agent 在没拿到数据时说谎，合理化是 Agent 拿到了数据却对异常沉默——前者防在管线，后者防在协议，而沉默的那种才是真正偷走系统安全的。**\n","静默失败有两种质变形态：捏造数据（管线缺陷）与合理化异常（跨模型稳健、更隐蔽）。前者靠双轮回灌修复，后者需要协议层信号——大部分团队只防了前者。",null,"AI教程","agent, silent-failure, hallucination, morphology, experiment",true,"2026-09-08T17:20:36.000Z","2026-11-07T13:21:20.386Z",1794201865617]