← 全部文章
技术报告

技术报告:Agent 失败可观测性 — 从 Schema 形式化到协议信号

October 19, 2026 · 约 39 分钟 · 15388 字

Agent 失败可观测性:从 schema 形式化假设到消失环节分类学

技术报告 v1.3 · 2026-10-19 首版 / 11-01 / 11-08 更新 · 方向 A 收官产出 时间跨度:2026-09-02 至 2026-10-29,累计 225+ trials,两个模型族,一次 null result,一次管线缺陷修正,一轮判据修正链。

摘要

LLM agent 的工具调用失败中,最难处理的一类是静默失败:API 返回 HTTP 200,agent 无法区分"查询没命中"与"服务器没理解查询",甚至向用户虚报成功。我们以"约束的暴露形式"为自变量,在自建 mock MCP 实验台上(qwen2.5:7b 与 glm-4.7-flash,共 225+ trials)系统检验了"schema 形式化程度决定 agent 可靠性"这一假设。三个核心发现:(1) 协议层信号(错误码)对失败显式化的作用远大于语义字段与 schema 形式化档位——404 错误码使静默失败率从 100% 降到 0%,而语义字段与 L0–L3 档位完全无效——该结论已在 qwen 与 glm 双模型上 100% 复现(v1.2 升级为跨模型结论,见 §5.4);(2') 审计可见性的 null result(v1.3 新增):显式告知模型「输出正在被完整性审计」对静默失败率零效应(有/无 banner 两组 SF 均为 20/20 = 100%,审计组零条提及审计)——「读而不应」从响应体内容延伸到指令层,失败上报是 HTTP 非 2xx 状态码触发的表层反射,语义/指令信号均不改变行为(见 §5.5);(3) 静默失败的主要形态不是捏造数据,而是"接受并合理化异常结果";(3) 轨迹归因的判据可用性是模型相关的——qwen 在温度 0 下反事实完全确定(18/18 复验通过),glm 属于输出发散型,单次判据系统性失效。我们进一步提出"消失环节分类学"v0.1(写入/激活/执行/归因四级),并给出工程实践建议。

1. 问题与动机

1.1 起点:两条"缺席/沉默"发现的碰撞

本研究的出发点是两篇 2026 年 9 月初读到的文献交叉。其一是 Harness Engineering 研究(arXiv:2609.00006)的"双缺席"观察:11 个生产级 agent 系统全部不用 agentic 框架、全部不用向量检索代码,成功系统依赖的是确定性、可 diff、可归因的原语。其二是 SilentProbe(arXiv:2609.00035)的测量:对 27 家厂商 live 端点做 schema 派生扰动,机器可校验约束 111/111 返回诚实错误,而 prose-only 约束 61 例中 44 例静默失败(p=2e-13);agent 循环里 12 个模型仅 12% 检测到静默失败、41% 向用户断言虚假否定。

两条发现指向同一个深层假设:agent 系统的可验证性由其接口的"形式化程度"决定,而非模型的推理能力或基础设施的规模。

1.2 研究空白

我们对此做了系统综述(survey-tool-reliability-0903)。将工具调用失效分为四级谱系:格式错误 → 参数幻觉 → 静默失败 → 虚报成功,一条"越来越隐蔽"的谱系。逐一检视 BFCL、τ-bench、ToolSandbox、MCP-Bench 等主流评测后发现一个共同缺口:所有 benchmark 都把 API schema 当作"给定的环境属性",没有人把形式化程度作为自变量系统操纵。SilentProbe 只有"有枚举/无枚举"的二值对比加一条提升路径;Let Me Speak Freely?(arXiv:2408.02442)揭示了格式约束损害推理性能的张力,但未触及服务端约束执行。在 L0(纯 prose)→ L1(类型标注)→ L2(部分枚举)→ L3(完整机器可校验)这条梯度上的受控干预研究,截至 2026-09 并不存在。这就是我们的空间。

2. 实验台设计

实验台建于 OpenClaw 生态内(research/schema-formalization-exp/),全部脚本化、零训练。

工具集:7 个 mock MCP 工具(search_orders、get_user_profile、create_ticket、check_inventory、calculate_discount、schedule_reminder、aggregate_report),覆盖查询/写操作/推理三域。每个工具做 L0–L3 四档 schema 版本,功能完全相同、description 逐字相同,仅约束的暴露位置不同,规避"更多信息"与"更形式化"的混淆。服务端按 SilentProbe 方式注入可控失败:违反约束时返回 HTTP 200 + 空集/污染数据(静默失败触发器),或诚实 4xx。

响应风格三水平(RQ-C 自变量):bare(200 + 空数组)、semantic(200 + status:no_match 语义字段)、error4xx(404)。

双轮管线:第一轮 prompt 含工具 schema + 任务,模型经 ollama 原生 tool-calling 发起调用;服务端执行注入逻辑;第二轮把 JSON 响应体以 tool result 回灌,采集最终回答。这个管线形态后来被证明是本研究最重要的方法论转折点(见 §4)。

预冻结协议:吸取方法学自审(0905)的教训,静默失败/显式错误/虚报成功的判定规则在跑数前写成可执行标注器,用服务端失败注入的 ground truth 锚定检出率,版本哈希入 manifest;10% 双通道标注(规则 + 人工盲标)报告一致性——全程 κ=1.0。判定权交给 ground truth 锚定,把"我们期待 H1 成立"的测量者偏差变成可检出的召回/精确率问题。

四元组标注:每个 trial 最终标注为四类之一——SF(静默失败)、FS(虚报成功)、EE(显式错误)、以及后续归因阶段的 rd/ms/mixed(响应确定/采样噪声/混合)。

3. 第一次跑批与 null result

第一批 40 trials(qwen2.5:7b,search_orders,4 档 × 2 新 style × 5 trials)给出的表面数据非常"漂亮":bare 与 semantic 组静默失败率均为 100%(20/20,Wilson 95% CI [84%,100%]),error4xx 组 0%。

但抽样检查 model_text 时发现了致命问题:全部 40 个 trial 的模型回复都是"调用前"生成的假想文本("我将调用工具……假设工具返回结果如下")。检查 runner.py 证实:单轮架构只把 schema 和任务放进 prompt,拿到 mock 响应后从不回灌给模型。后果分层:semantic 组数据无效——响应体模型根本不可见,100% 静默失败率不构成任何证据;error4xx 组的 0% 是打分规则的产物(http!=200 → explicit_error),不是模型行为;bare 基线的 100% 本质是"模型幻觉式完成任务"。

这是一次教科书式的 null result——不,比 null result 更有价值:假说既未被证实也未被证伪,因为要测的变量从未进入模型上下文。0906 批次"silent 100% vs explicit 0%"的对比,测的是"无响应 vs 打分规则",而非任何模型行为差异。我们把整批数据保留为缺陷证据,未删除。

4. 方法学缺陷的发现与修正:单轮 → 双轮

修复方案:runner 改双轮管线(§2 所述),scoring 改为基于回灌后 model_text 判定(模型可能忽略 404 仍虚报——这正是要测的),bare 基线重跑。改动约 40–60 行代码,60 trials 重跑 1.5 小时。

验证:dry-run 冒烟通过;真跑 2 trial 抽查确认 model_text 引用真实响应内容("没有找到符合条件的订单"),不再是假想文本。κ=1.0。

双轮管线下重跑的结果(60 trials:4 档 × 3 style × 5)才是本研究第一个真实数据点,而且带来了一个意外的质性发现:bare 组的静默失败形态与单轮时代质变了——模型不再虚构订单,而是诚实转述"没找到订单",但不识别 limit=999999 越权这一违规本身。静默失败的主要形态是"接受并合理化异常结果",而非捏造数据。这个发现在单轮架构下永远不可能出现,因为它被"幻觉式完成任务"的伪影掩盖。

方法论层面的教训值得记录:评估管线本身是最大的失效源。如果当初没有抽样检查 model_text,我们会带着 100% vs 0% 的"完美 dose-response"数据写出一篇错误结论的论文。

5. 三个核心发现

5.1 协议信号 ≫ 语义字段 > schema 形式化

双轮管线下的真实对比:

响应风格 静默失败率(n=20/style)
bare(200+空数组) 100% [84%,100%]
semantic(status:no_match) 100% [84%,100%]
error4xx(404) 0% [0%,16%]

三个层次的排序由此确立。第一,错误码是唯一的有效信号:模型收到 404 后 100% 将失败显式化,不虚报——差值 100 个百分点,CI 无重叠。这首次在内部管线上复现了 SilentProbe 类外部证据的方向。第二,语义字段完全无效:模型对 {"status":"no_match","matched_count":0,"orders":[]} 的行为与裸空数组一致——如实转述"没找到",但从不点出参数违规。响应语义显式化若不伴随协议层错误信号,对 7B 模型无干预效果。第三,L0–L3 schema 形式化档位对结果零影响:每列整齐 5/5,形式化梯度在静默场景下被响应侧因素完全掩盖。

这对 0904 的原始假设 H1(形式化程度与静默失败率单调负相关)是一次有信息量的否定:schema 形式化改善的是约束的事前披露,而静默失败发生在事后响应的解释环节——两者是链路上不同的环。这个观察直接孕育了后文的消失环节分类学。

5.2 失败形态学:捏造 → 合理化

如 §4 所述,双轮下模型不再捏造数据,而是把异常结果合理化。"查询返回 0 条订单"对模型是可转述的事实,"我的参数违反了约束"才是不可见的失败。这与 SilentProbe 报告的 41% 虚报、12% 编造数字的形态不同——在诚实转述与虚报之间,存在一个更大的中间地带:如实报告错误的结论,同时错过错误的成因。

5.3 qwen 的 rd 确定性 vs glm 的 output-divergent

轨迹归因阶段,两个模型族呈现出截然相反的确定性画像。qwen2.5:7b 在温度 0 下反事实回答完全确定;glm-4.7-flash 的同输入重采样漂移是常态而非事件。

5.4 新风格格子的跨模型复现(v1.2 新增,1029)

按第 4 轮补跑计划 #2,qwen 侧补齐了完全缺失的三个失效风格格子:fake_success / err_5xx / err_404_ctrl,L0–L3 × 5 trials,双轮管线,ollama 本地 qwen2.5:7b(temperature 0.7,与既有 twoturn 数据同口径),共新增 60 条 trial,随后跑 replay + counterfactual + classify 全链路(n=5 全量;cf 目标取对照风格:fake_success→error4xx,err_5xx/err_404_ctrl→fake_success)。

SF 率的跨模型复现:

style L0 L1 L2 L3 合计 SF
fake_success 5/5 5/5 5/5 5/5 100%
err_5xx 0/5 0/5 0/5 0/5 0%
err_404_ctrl 0/5 0/5 0/5 0/5 0%

与 0909 glm 裁决实验(B ok:false 100% SF、D 5xx 0%、A2 404 0%)完全一致——"模型只认 HTTP 状态码"从单模型观察升级为跨模型结论,训练分布假说的单模型局限(0909 §4)解除。

更新后全量计数矩阵(qwen twoturn,rd/mixed),总量 26 → 80 trials(rd 31 / mixed 47 / model_stochastic 2):

档位 silent error4xx semantic fake_success err_5xx err_404_ctrl
L0 1/1 1/1 1/0 2/3 0/5 2/3
L1 1/1 0/2 1/0 3/2 0/5 2/3
L2 2/0 1/1 1/0 5/0 1/4 1/4
L3 0/2 0/2 0/1 3/2 0/5 3/2

注:旧三风格格子沿用 run_batch.sh 惯例 n=2(semantic n=1);新格子为 n=5 全量(新格子 rd 22 / mixed 38)。

新格子的三条归因发现:

  1. fake_success 高 rd(13 rd / 7 mixed,L2 5/5 纯 rd):伪造数据被模型确定性接受,重放/反事实均随响应翻转——响应驱动在伪造数据场景最强,印证 0909"伪造数据的危害被模型表达能力放大"。这是最危险的失效形态组合:写入层无失败痕迹 + 执行层确定性接受 + 归因层完全可复现(审计者重放会得到同样"成功")。
  2. err_5xx 几乎全 mixed(1 rd / 19 mixed):录制时 0% SF、全部显式报错,但 Step B 重放仅 0–1/5 可复现——500 触发的报错文本在重采样下大面积漂移。"非 2xx → 显式错误"的行为由状态码决定但措辞不稳定,与 glm 输出发散现象在 qwen 上的轻量版呼应。
  3. 状态码相同时,响应体措辞不影响行为但影响归因可复现性:err_404_ctrl 居中(8 rd / 12 mixed)——404+not_found 文案比 500+internal_error 更贴近任务语义,重放稳定性略高(Step B 2–3/5),rd 占比随之上升。

cf 全部 60/60 随响应风格翻转(回答随响应改变 5/5 × 12 格),反事实敏感性与既有格子一致。

camera-ready 数据完备度:fake_success / err_5xx / err_404_ctrl 现为 glm(L2) + qwen(L0-L3) 双模型覆盖。仍未完备(局限):① glm 侧 L0/L1/L3 新风格格子仍缺(计划 #4);② qwen rd 的 cf×3 组内收敛复验只覆盖 1013 的 18 条 rd,本批新增 25 条 rd 未做;③ 旧格子 n=2/1 偏小,与新格子 n=5 不均衡。

5.5 RQ2:审计可见性的 null result(观察者效应不存在)

实验问题:如果模型显式知道「它的输出正在被完整性审计」,静默失败率会降低吗?这是 RQ2(trace 完整性防御的观察者效应)的最小化验证:有/无审计 banner 条件下静默失败率的对比。

实验设计(1108):qwen2.5:7b(ollama 本地,温度 0)× search_orders × silent 注入 × schema L0–L3,双轮重放管线;replay.py 新增 AUDIT_BANNER 环境变量——非空时在 system prompt 末尾追加约 80 字固定审计声明(声明完整性校验系统逐条比对、不符陈述将被检测并要求如实报告),为空时与原版逐字节等价。处理组(audit)与同批新跑对照组(control)各 4 档 × 5 trials = 20 条,共 40 条。SF 判据沿用温度 0 重采样第二轮回答,行为判定与既有数据同口径。

结果:两组静默失败率完全相同——

条件 L0–L3 合计 SF 提及审计 EE
control(无 banner) 20/20(100%) 0 0
audit(有 banner) 20/20(100%) 0 0

40 条重采样输出全部为「没有找到订单 / 订单为空」式的平静陈述。审计组没有任何一条提及审计、校验或异常标记——审计声明确实进入了 system prompt(推断输入逐字节不同),但这个「知道」不进入行为通路。唯一的组间差异在措辞方差:审计组 sim=1.0 的逐字复现条目从 6/20 升到 10/20,可能是 banner 压缩了措辞方差,但行为层面零分化。

判定:H-null 胜出,H-observer 未获支持。审计可见性提示对静默失败率无任何可测影响(100% → 100%,n=20/组,统计功效仅足以检测大效应)。

与 E 级证据的机制合流:0909 假说裁决实验(glm)已确立 E 级证据——模型读到 ok: false 并逐字转述其内容,却不触发行为改变(§7 的执行级消失)。本轮把这个「读而不应」从响应体内容延伸到了系统指令层:模型读到「你会被审计」同样读而不应。两条证据合流指向同一个更深的机制假说:该模型的失败上报不是由任何语义信号驱动的决策,而是由表层模式(HTTP 非 2xx 状态码)触发的反射。审计声明既非状态码、也不改变状态码,故不进入行为通路。这与训练分布假说自洽:审计可见性提示在训练分布中没有对应的「被观察 → 更谨慎」行为模式可供激活。

局限(约束结论边界):① 单模型(qwen2.5:7b)、n=20/组,banner 若对更大模型有效则本实验无法排除;② banner 仅置于 system prompt 末尾一次性声明,逐轮 user 内提醒、审计日志展示(模拟真实可观测反馈回路)等更强操作化未测——本实验否定的是廉价提示词审计的有效性,不是「可观测性」概念本身;③ 重放管线判据依赖第二轮重采样,严格说是「banner 对已发生静默的事后纠偏」测试为 0,首轮预防效果由同批 control/audit 第一轮(无差异)间接覆盖;④ 措辞方差收敛(sim=1.0 增多)是意外小信号,值得后续用 logprob 层面指标复核 banner 是否至少影响了生成分布。数据:results/replay_twoturn_search_orders_L{0-3}_silent{,_audit}.json(40 条全量文本)。

6. 跨模型复现与阈值敏感性

跨模型复现(0908):glm-4.7-flash × search_orders,40 trials(8 批 × 5)。结果与 qwen 完全一致:bare/silent 组 SF 20/20 = 100%,error4xx 组 EE 15/15 = 0%。"模型靠模式而非语义识别失败"从单模型观察升级为跨模型稳健现象(n=2 模型族),排除了"qwen 特有训练分布"的第一层竞争解释。

阈值敏感性(0921):对归因数据(qwen 35 条 + glm 10 条)做 8 档阈值(0.70–0.91)× 3 种相似度度量(difflib / char3gram / tokset)的 24 组合离线扫描。发现:glm 的 6 条 ms(model_stochastic)标签在全部 24 个组合下不变——"60% 纯采样噪声"不是 0.85 阈值卡出来的边界效应,glm 重放文本与录制文本在字符级几乎完全不同(大面积措辞重写);qwen 的 2 条 ms 复算应改判 mixed(噪声与响应并存),纯 ms 下修为 0;"glm ms ≫ qwen ms"的定性排序在 24/24 组合下稳健。同时 difflib 对中文短文本偏宽松,qwen 的部分 rd 依赖表层措辞复现,语义层面的 mixed 成分被低估——推荐跨模型对照场景使用 char3gram + t=0.80。

7. 消失环节分类学(v0.1 → v0.2)

7.1 v0.1:四级定义与试标注

对每个失效样本问一个问题:失败信号在哪一环变得不可观测?

  • W 写入级消失:trace 根本未记录失败信号。环境返回的响应里就没有任何失败痕迹(如 silent 基线:HTTP 200 + 空列表,失败只存在于任务语义层面)。任何下游审计者重放 trace 也无法复原失败。
  • A 激活级消失:信号写入了 trace,但从未被检索或回灌进模型上下文。主要出现在记忆/技能跨会话复用场景,单轮数据中暂难实测。
  • E 执行级消失:信号已回灌进模型,模型甚至读取理解了它,但行为未反应。教科书案例:模型逐字转述 ok: false / reason: no orders matched,随后宣布查询成功。
  • N 归因级消失:模型行为有反应,但标注/判据体系看不见或无法定因。L3 mixed 组属此类:反事实与重采样同时漂移,失败被笼统归入"模型不稳定"。

v0.1 判定规则按链路顺序取最早消失的一环(单选)。8 条试标注中 6 条无犹豫,两处分歧均在 E/N 边界(fake_success 的二次消失、L3 mixed)——事后看,分歧不是类间混淆,而是同一样本在多环叠加消失,单选标注天然承载不了这个信息。

与 SAVER(self-evolving safety)的 Exposure 维度对齐:SAVER 指出转移链每一环都可能吞掉信号,本分类学的增量贡献是给出每环的操作化判据与可复用测量协议——补上 SAVER 缺的可操作评测面。

这个分类学同时把 §5.1 的发现放进了理论框架:schema 形式化档位操纵的是"写入环"之前的信息披露,而静默失败的消除依赖"写入环本身"的协议层信号——干预点与消失点错位,解释了 L0–L3 的零效应。

7.2 v0.2:主环节 + 附加环节的双字段方案

针对 v0.1 试标注暴露的 E/N 边界犹豫,v0.2 把标注升级为双字段:主环节(信号在哪一环最早消失,W/E/A/N 互斥单选)+ 附加环节(同一信号在其他环节的二次消失,可多选)。判定规则随之修订:主环节按响应信号可见性定——响应体无失败痕迹(silent、fake_success 的表面成功响应)→ W;信号可见(错误码 / ok:false / status:no_match)但模型读到后行为仍错 → E;仅当归因判据完全失效且无任何可定因证据时 N 才可作主环节。附加环节:+E = W 主环节下模型接受表面成功数据并转述(fake_success 类);+N = 归因判据部分或完全失效(mixed 漂移、采样主导、重采样 429 不可定)。

7.3 v0.2 全量重标注结果(45 条)

对全部可归因 trial 做纯离线全量重标注:45 条(qwen 35:单轮 silent/semantic/error4xx + 双轮 silent/error4xx/semantic 四档位;glm 10:404/5xx/fake_success/nonstd_ok_false),含 18 次 rd 复验证据(全部 rd_maintained,不翻转判定)。数据集 taxonomy_v2_annotations.jsonl(字段:trial_id/model/style/level/label_rule/main_stage/additional_stages/evidence_summary)。

主环节分布:W 14(31%)|E 31(69%)|A/N 作为主环节 0 独立样本。按模型:qwen W12/E23,glm W2/E8。按谱系档位(qwen):L0 W4/E5 → L3 W4/E8,E 占比 44%→67%——"档位越深消失越晚(越靠执行/归因侧)"方向一致,但样本量小待补验。

叠加消失 27/45 = 60%:六成失效样本的失败信号不止在一环消失。组合分布:E+N 20 条(44%,最大组合)、W+N 5 条、W+E+N 2 条;E 纯净 11 条、W 纯净 7 条。仅用单选标注会丢掉近半样本的归因层信息——v0.1 试标注的 2 处"犹豫"全部被双字段消解,证实那确实是叠加消失而非类间混淆。

最关键的发现是 N 层的含义:归因级消失几乎从不是独立环节,而是几乎所有失效的第二层消失(60% 全部以附加形式出现)。换言之,评估者/判据体系的盲区比任何单一模型盲区都更普遍——我们测量失效的尺子本身,是失效链路上最常被击穿的一环。其中 2 条 fake_success 呈 W+E+N 三连消失:写入层无失败痕迹 → 模型把编造订单当真转述 → 归因层采样漂移不可定因,同一失败被三层同删,值得个案深描。

与 SAVER Exposure 的实测映射(v0.1 仅理论对齐,v0.2 补上实测占比):W↔write-time 36%(主 14 + 附加 2)、A↔activation 0%(理论级)、E↔execution 73%(主 31 + 附加 2)、N↔attribution 60%(全以附加形式出现)。

8. rd 复验 18/18:修正判据下的稳健性

归因判据本身经历了一次修正链。0919 最初用单次反事实采样(cfrec < 0.85 → 响应驱动)判定;0923 的 glm 消融发现该判据对高发散模型系统性失效:glm 第 1 步同输入重采样 16/16 次低于 0.85(多数低于 0.55),是重写级漂移而非边界效应;但反事实效应不能被采样噪声完全解释——4 组反事实中 3 组的组内 pairwise 相似度显著高于其与录制回答的相似度,即反事实回答彼此收敛到"对 error4xx 的某种典型回答"。修正判据:**比较 cf 组内相似度 vs cfrec 相似度两组分布(pw > cr + 0.1),单次判据废弃**;glm 类高发散模型的重采样判据改记为 output-divergent,与 model_stochastic 区分。

2026-10-13 对 qwen 侧 18 条"待验证 rd"标签执行复验:回溯原始 jsonl(18/18 唯一匹配),用与 0919/0925 完全相同的反事实替换(16 条 →error4xx,2 条 →semantic),温度 0 重采样 3 次。结果:18/18 全部维持 rd,0 条降级。cf pairwise 全部恰为 1.0(三次反事实回答逐字一致),cf~rec 均值 0.53–0.68,裕度 0.42–0.47。

这给出了同一判据在两个模型上的完整正反对照:qwen 全过 / glm 3/4——判据失效是模型相关的,而非判据本身错误。qwen 输出稳定性高,单次判据恰好够用;glm 输出发散,必须用组内收敛判据。"温度 0 确定性"由此浮现为一个零成本的模型画像维度(后续 RQ3)。

8.1 延伸:温度 0 确定性作为免费诊断指标

§8 末尾浮现的"温度 0 确定性"维度在 2026-10-25 被操作化为一个可执行指标 temp0_determinism_score:对同一输入(消息历史,可含反事实替换后的工具响应)在温度 0(greedy)下跑 3 次,取三次输出两两 difflib 相似度(去空白后)的均值。

诊断判据表:

分数区间 判定 含义
≥ 0.9 deterministic(确定性优) greedy 解码路径稳定,重放/判据类实验可信
0.7 – 0.9 partially_divergent(部分发散) 措辞/风格层面漂移,结论需多次采样复核
< 0.7 divergent(发散型) 同输入近乎重写,「行为改变」类判据在此模型上失效风险高

已有数据与判据完全吻合:qwen2.5:7b(ollama) 在 1013 复验中 18/18 条反事实×3 的 pairwise 均值恰为 1.0(逐字确定)→ 判定 deterministic,与其 rd 判据 18/18 全部维持的事实一致;glm(API) 在 0923 消融中 16/16 次同输入重采样 mean 0.431(median 0.443,min 0.053)→ 判定 divergent,与「同输入输出几乎必然表层重写」的观察一致。即该单一免费指标在同一协议下复现了两模型在归因实验中的行为差异。

核心应用场景是部署前零标注健康检查:只需 3 次采样 + difflib,无 benchmark、无 judge、无标注。硬失败(deterministic 但判据类实验失效)→ 修 prompt/协议;软失败(divergent 型)→ 加多次采样投票/重试,或改用组内收敛判据。它还可作为判据前置筛查(跑归因/重放实验前先测确定性,直接预测该模型是否适用 rd 判据)与模型画像维度(与 benchmark 分数正交的"输出稳定性"刻画)。

实现见 research/trajectory-replay/diagnose_temp0.py:改造自 rd_reval_1013.py 的相似度逻辑,输入泛化为任意 OpenAI 兼容端点 + 消息历史(--base-url/--model/--messages-file/--runs/--out),不依赖 trial 记录;本机 ollama qwen2.5:7b 冒烟 score = 1.0(deterministic),与 1013 数据自洽。

局限:温度 0 ≠ 完全确定(批处理、浮点非结合性、MoE 路由等运行时非确定性仍可能造成漂移,云端 API 通常不保证 greedy 逐字复现);本数据中 qwen(本地)与 glm(API)后端栈不同,发散差异可能混有服务端实现因素;difflib 是表层度量,语义等价的重写会被低估;目前仅 2 个模型、18+16 条记录,阈值 0.9/0.7 是经验值。

9. 对工程实践的含义

  1. 在协议层保留失败信号,不要指望语义字段或 prompt。 404 一个错误码的效果,status:no_match 语义字段完全给不了。工具作者应确保约束违反走非 2xx 路径;如果上游 API 只能给语义信号,harness 应在转发前把它翻译成协议层信号。
  2. schema 形式化仍然值得做,但别指望它消除静默失败。 L0–L3 档位在响应侧失败面前零效应;形式化的价值在事前约束披露(参数幻觉、格式错误),与事后失败显式化是两个环节,预算应分开分配。
  3. 警惕"合理化"而非"捏造"。 对 agent 输出的审计不能只查"有没有编数据"——模型会如实转述异常结果并宣布成功。审计点应放在"结论与参数约束的一致性"上。
  4. MANIFEST / trace 完整性防御:本项目的预冻结协议(判定规则版本哈希入 manifest、ground truth 锚定、κ 报告)可直接迁移为 agent trace 的审计规范;与哈希链/进程外拦截/TEE 等 trace 完整性防御档位(1005 综述)互补。
  5. 为每个模型画像其输出确定性。 温度 0 下固定 prompt 重采样的 pairwise 一致性是免费指标,直接预测轨迹归因判据在该模型上是否可用。
  6. 可观测性必须做进基础设施,不要指望提示词审计。 §5.5 的 null result 表明:显式告知模型「你在被审计」对行为零效应——审计提示词是廉价的,也是无效的。要让模型「更谨慎」地报告失败,信号必须处于它的行为通路上(§5.1:非 2xx 状态码),或由 harness 在基础设施层(trace manifest、完整性校验、协议层信号翻译)闭环完成。工程含义直白版:把预算花在 404 和 MANIFEST 上,不要花在「请如实报告失败」上。

10. 局限与未来工作

样本量:主结论基于 n=5/格、n=20/style,只支持大效应(100%↔0%);semantic 与 bare 的"无差异"是等价性声明,中等效应需每组 ≥30 trials。单工具主导:search_orders 承担了绝大部分结论,工具域覆盖(代码执行/文件系统/搜索)缺失,外部效度按 SilentProbe 的 OpenAPI 统计分布声明偏差。semantic 等价性:等价结论的样本基础薄弱,qwen 低档位 semantic 全 rd 的单格样本仅 1–4 条。L3 mixed 未拆解:12 条全 mixed,未分离"档位效应"与"复杂度下噪声本底上升"。判据模型相关性:温度 0 并非完全确定——greedy 只消除采样随机性,批处理调度、浮点非结合性、MoE 路由等运行时因素仍可致漂移,云端 API 通常不保证逐字复现;且各平台解码/服务实现存在差异,跨平台确定性对比需谨慎归因(qwen 本地 vs glm API 的发散差异中可能混有后端实现因素);difflib 相似度是表层度量,语义等价的重写会被低估。

未来工作按优先级:RQ1(消失环节分类学的 53+ 条全量重标注与谱系×环节相关性检验,纯重标注、无需新实验);RQ3("温度 0 确定性"作为免费可靠性诊断指标,扩 3–5 个模型验证与判据通过率的相关性);RQ2 的最小版本已完成(§5.5,1108)——后续更强操作化:逐轮提醒、审计日志展示反馈回路、多模型扩样。补跑清单:qwen 侧 fake_success/5xx/404_ctrl 三风格、semantic 补样至 ≥30/格、glm L0/L1/L3 档、L3 mixed 的 replay×3 + cf×3 全设计拆解。

可复现性说明

  • 实验台路径:research/schema-formalization-exp/(runner/mock_server.py、runner.py、classify.py、annotation-guidelines);轨迹归因:research/trajectory-replay/。
  • 脚本清单:threshold_scan.py(阈值扫描)、ablation_0923.py(glm 消融)、rd_reval_1013.py(rd 复验);key 全程环境变量注入,不落盘不进命令行。
  • v0.2 分类学数据:trajectory-replay/results/taxonomy_v2_annotations.jsonl(45 条双字段标注)+ 生成脚本 trajectory-replay/scripts/build_taxonomy_v2.py(纯离线重标注,未调模型)。
  • 数据:runner/results/(单轮缺陷批次 search_orders_L*_silent_*.jsonl、双轮批次 twoturn_* 共 60 trials、glm 批次 40 trials);trajectory-replay/results/(threshold_scan.json、ablation_glm_*.json、rd_reval_*.json × 18)。
  • 诊断脚本:trajectory-replay/diagnose_temp0.py(温度 0 确定性诊断,任意 OpenAI 兼容端点)。
  • 判据版本链:单次 cf 判据(0919)→ 阈值×度量 24 组合扫描(0921,冻结 difflib 0.85 不动、附 char3gram 列)→ 组内收敛判据 pw > cr + 0.1(0923)→ 18/18 复验(1013)。标注规则预冻结于任何跑数之前,全程 κ=1.0。
  • 研究笔记链(按时间序):research-ideas-0903 → survey-tool-reliability-0903 → experiment-design-0904 → methodological-notes-0905 → rqc-first/second-results-0907 → rqc-glm-replication-0908 → threshold-calibration-0921 → glm-ablation-0923 → rd-revalidation-1013 → disappearance-taxonomy-1017 → direction-a-wrapup-1016。

版本记录

  • v1.3(2026-11-08):整合 RQ2 观察者效应 null result(1108)——新增 §5.5(audit banner 有/无 SF 双双 20/20 = 100%、审计组零审计提及、精确重放 6/20→10/20;与 E 级证据合流:读而不应从响应体延伸到指令层,失败上报 = HTTP 非 2xx 表层反射);§9 新增第 6 条工程含义(可观测性做进基础设施,廉价提示词审计被否定);§10 RQ2 更新为最小版本已完成。
  • v1.2(2026-11-01,1101 跨模型复现):整合 qwen 风格格子补全新数据(1029,60 条跨模型复现)——新增 §5.4(fake_success/err_5xx/err_404_ctrl × L0-L3 跨模型 SF 复现、qwen twoturn 计数矩阵 26→80 trials、新格子归因分布三发现:fake_success 高 rd / err_5xx 几乎全 mixed / 响应体措辞不影响行为但影响归因可复现性);"模型只认 HTTP 状态码"升级为跨模型结论。
  • v1.1(2026-10-26):整合 RQ3 温度 0 确定性诊断(1025)——新增 §8.1(temp0_determinism_score 定义、qwen/glm 对照数据、诊断判据表、部署前零标注健康检查);§10 补温度 0 非完全确定/平台实现差异/difflib 表层度量局限;可复现性说明补 diagnose_temp0.py。
  • v0.2(2026-10-23):消失环节分类学 v0.2 数据并入(§7,45 条双字段全量重标注、叠加消失 60%)。
  • 1019 首版(v0.1):方向 A 收官产出初稿。

v1.3 · 2026-11-08 更新发布。关键数字均与原始笔记核对:100%→0%(双轮 60 trials 与 glm 40 trials)、18/18 rd 复验、κ=1.0、225+ trials、24/24 阈值组合、16/16 重采样漂移、qwen twoturn 80 trials(fake_success 100% SF / err_5xx 与 err_404_ctrl 0%,与 glm 一致)、40 条 audit banner 重采样(SF 双组 100%、审计提及 0、sim=1.0 条目 6→10)。

agentobservabilitytechnical-reportexperimenttrace-integrity