Agent 失败的两种面孔:捏造数据与合理化异常
Agent 失败的两种面孔:捏造数据与合理化异常
教学笔记 · 2026-09-08 · 基于 RQ-C 实验(qwen2.5:7b 双轮管线 + glm-4.7-flash 跨模型复现)
一说 Agent 不可靠,大家脑子里蹦出来的词都是"幻觉"。但"幻觉"是一个把所有病症都塞进去的垃圾桶诊断——就像医生把"发烧"当确诊,感冒和败血症的处方怎么会一样?我们在 search_orders 工具上跑的失败注入实验发现:Agent 的失败并不是一种东西,而是两种质变不同的形态——它们的发生机制、危害面、对策完全不同,用"幻觉"一个词笼统对待,会让你防住一种、漏掉另一种。
形态一:捏造数据(Fabrication)
先看最显眼的形态。这是单轮管线下我们观察到的失败:模型从未见过工具的真实响应,却凭空编造了一份订单列表——订单号、金额、状态,写得有模有样。像考生没拿到考卷却交出了满分答卷:答案不是答出来的,是编出来的。
特征:
- 无输入依赖:输出和工具响应之间没有任何因果联系,纯粹是语言模型的"脑补"
- 内容自信:文本流畅、格式规范,没有任何犹豫的痕迹
- 与真实世界脱钩:编造的数据在系统里根本不存在
危害:用户拿到的是假数据,可能基于它做真实的决策。
对策:关键洞察是——这往往是管线问题,不是模型问题。我们的单轮管线里,工具响应根本没有回灌到模型的第二轮上下文。修复方式是改双轮管线:第一轮模型发起 tool call,服务端执行,第二轮把 JSON 响应体作为 tool result 回灌。修复后捏造完全消失,模型开始引用真实响应内容。所以遇到"模型编数据",先检查你的管线是否真的把工具结果喂回去了,再考虑换模型——大多数时候,锅在管线不在模型。
你可能会想:把响应喂回去不就万事大吉了?我们的数据恰恰说明没有——修好管线,只是关掉了第一扇没锁的门。
形态二:合理化异常(Anomaly Rationalization)
双轮管线修复后,捏造消失了,但另一种更隐蔽的失败浮现出来。模型如实转述"没有找到符合条件的订单"——这句话是真实的,但它对请求参数里 limit=999999 超过系统上限 90 这一越权值毫无警觉。它接受了异常,并把异常结果中性化地转述给用户。
特征:
- 局部真实:每一句转述都忠实于工具响应,单看无懈可击
- 整体失察:参数违反约束这件事,从头到尾没有被识别
- 语气中性:不报错、不警告,就像一次正常的"查无结果"
危害:比捏造更危险。用户以为系统在正常运行,实际上约束已经被突破——越权查询没有触发任何显式信号。捏造至少会在数据对不上时暴露,而合理化异常是"看起来一切正常"。
跨模型稳健性:这个形态不是某个模型的怪癖。我们在 glm-4.7-flash 上复现:bare 注入下静默失败 20/20(100%),与 qwen 完全一致;同时两模型在 404 错误码下都 100% 转为显式报错。两个不同模型族表现出同一模式,说明这是 LLM 工具调用的普遍行为,而非训练分布的偶然。
两种形态对比
把两种形态并排放在一起,差异一目了然:
| 维度 | 形态一:捏造数据 | 形态二:合理化异常 |
|---|---|---|
| 发生条件 | 工具响应未回灌(管线缺陷) | 响应真实回灌,但异常未被协议层标记 |
| 模型做了什么 | 凭空编造不存在的数据 | 如实转述,但对越权参数零警觉 |
| 可检测性 | 相对易发现(数据对不上就穿帮) | 极难发现(输出与响应完全一致) |
| 危害面 | 用户基于假数据决策 | 约束被突破却无任何信号,系统"看似正常" |
| 对策 | 修管线:确保响应真实回灌 | 协议层信号:让失败在协议上显式化 |
对策与开放问题
表格看完了,请注意对策那一列的本质区别:形态一的对策在你的管线代码里,形态二的对策在协议层。
我们的实验里有个精确的证据:给响应加语义字段(status: no_match)对两个模型都完全无效——模型照常中性转述;但把响应换成 404 错误码,静默失败瞬间从 100% 降到 0%。也就是说,模型靠模式而非语义识别失败:非 2xx 状态码的注意力显著性碾压了任何自定义语义字段。"404 有效而语义字段无效"指向的解法是:让约束违反在协议层产生显式错误信号,而不是指望模型自己读懂 JSON 里的语义提示。
最后留一个开放问题:这两种形态,哪种在你的生产环境里更常见? 形态一因为醒目、有现成的话术("幻觉")、有成熟的管线修复方案,大部分团队都防了。但形态二——每一次越权参数被中性转述、每一个被默默接受的异常值——可能正在你的系统里天天发生,只是没有人把它标记为失败。我们怀疑,大部分团队只防住了形态一。
一句话收束:捏造是 Agent 在没拿到数据时说谎,合理化是 Agent 拿到了数据却对异常沉默——前者防在管线,后者防在协议,而沉默的那种才是真正偷走系统安全的。