← 全部文章
AI教程

当你的测量工具会撒谎:Agent 实验里的测量效度

September 24, 2026 · 约 7 分钟 · 2525 字

当你的测量工具会撒谎:Agent 实验里的测量效度

失败轨迹归因研究(0909–0923)方法论沉淀 · 2026-09-24

做 LLM 实验的人很容易默认:管线搭好、数据跑完、报表算出来,剩下的就是"解读结论"。但过去两周我们三次发现测量工具本身在撒谎——每一次都差点据此得出一个看起来非常干净的假结论。你以为在测 A,工具实际测的是 B。打个比方:测量工具是仪表盘,不是窗户——指针动了不代表路面颠簸,可能只是仪表松了。下面是仪表松了三次的真实案例,每一次都差点据此得出一个看起来非常干净的假结论。这三周的教训浓缩成一句话:实验结论的质量上限,不是模型也不是样本量,而是测量工具的效度。

案例一(最讽刺的一种):管线没回灌响应,测的是"幻觉完成"

表象:RQ-C 首批跑批(0907)数据非常漂亮——bare/semantic 注入下静默失败率 100% [84%, 100%],error4xx 注入下 0%,对比鲜明,仿佛假说一跑即中。

谎言机制:抽样检查 model_text 才发现,全部 40 个 trial 的模型回复都是"调用前"生成的假想文本("我将调用工具……假设返回如下")。检查 runner.py 证实:管线只把 schema 和任务放进 prompt,mock 拿到响应后从不回灌给模型。也就是说,semantic 组的 100% 与 bare 无差异是必然的——模型根本没看到响应,响应侧改动无处生效。

发现的契机:不是统计检验,而是抽样肉眼看原始 model_text。error4xx 组的 0% 更隐蔽:annotate_rule 对 http != 200 直接判 explicit_error,根本不看模型说了什么——这一列数字是打分规则的产物,不是模型行为。

修正:runner 改双轮管线,把 JSON 响应以 tool result 形式回灌后采集最终回答;打分规则改为基于回灌后的 model_text 判定;0906 的基线全部作废重跑。

案例二:阈值 0.85 把发散型模型记成"60% 纯噪声"

如果说案例一是工具压根没接上被测对象,案例二更隐蔽:工具接上了,但它的"零点"校错了。

表象:glm 消融数据(0919/0921)显示 10 条轨迹里 6 条被判为纯采样噪声——"glm 60% 是纯噪声"这个点估计非常抓眼球,几乎要写进结论。

谎言机制:机械判据是"同输入重采样相似度 < 0.85 即记 model_stochastic"。但 glm 在温度 0 下输出本来就大面积表层重写:阈值敏感性扫描(0921,8 档阈值 × 3 种度量共 24 组合)显示,glm 的 6 条 ms 在所有 24 个组合下无一例外地不变,重采样文本与录制文本在字符级几乎完全不同(大面积换表格、措辞重写)。这不是"同义微调被 0.85 误杀"的边界效应,而是判据本身对发散型模型失效——它把"模型输出天然发散"误标成了"行为改变事件"。

发现的契机:对单一点估计的质疑推动了全组合扫描;后续消融(0923)进一步证实 16/16 次重采样相似度低于 0.85、15/16 低于 0.70——远低于阈值的重写级差异,而非贴着边界的抖动。

修正:glm 的标签从 model_stochastic 改记为"输出发散(output-divergent)",避免与响应驱动维度混淆;"60%" 只作为谨慎引用的点估计(CI ±15pp),结论降级为稳健的定性排序:glm 的发散显著高于 qwen(后者扫描后 ms 反而修正为 0)。

案例三:单次反事实相似度被采样噪声污染

前两个案例里,问题出在工具的结构或校准;第三个案例提醒我们:工具本身没坏,读数次数不够也会撒谎。

表象:依赖单次反事实采样的 cf-sim 判定("响应改变未改变回答"),0919 据此给若干条轨迹打了标签。

谎言机制:对高发散模型,单次反事实回答本身就是一个噪声样本——glm 反事实回答两两相似度只有 0.18–0.63,直接拿它与录制回答比相似度,测到的是"噪声本底 + 效应"的混合物,无法区分反事实效应与采样涨落。

发现的契机:消融实验(0923)把同一反事实跑 3 次后发现关键信号:反事实回答彼此收敛到"对 error4xx 的某种典型回答"(3/4 组 cf 组内相似度显著高于 cfrec),fake_success-0001 的 cfrec 低至 0.13–0.25,远低于其第 1 步漂移的 0.51 本底。

修正:判定"反事实改变回答"不再用"cfrec < 0.85"的单次判据,改用**cf 组内收敛 vs cfrec** 的两组分布对比;4 组中 3 组支持真效应,且效应强度确实被噪声放大过。

四条测量效度守则

  1. 先验证测量工具能测到你以为的东西。 任何管线先做集成验证:肉眼看原始 model_text,确认模型真的"经历"了你设计的实验条件。0907 的 100% vs 0% 若不抽检原文,就成了方法学上完美而事实上空洞的结论。
  2. 结论要对测量参数做敏感性分析。 阈值、度量、采样次数——凡是会影响标签的参数,都该扫一遍。glm 的结论在 24 个组合下不变,才有资格称为稳健;只报 difflib 0.85 单点,就是在报工具的属性而不是世界的属性。
  3. 机械判据要区分"模型行为"与"打分产物"。 http != 200 → explicit_error 判的是规则不是模型;"重采样 < 0.85 即噪声"判的是分布假设不是事件。每个自动标签都要能回答:换一个模型/响应格式,这条规则还指向同一个构念吗?
  4. 定性结论优先于点估计,除非样本支撑。 "glm 发散 ≫ qwen" 在 24/24 组合下成立,可以写;"glm 60% 纯噪声" CI 宽达 ±15pp 且仅 10 条单工具,只能谨慎引用。点估计天然比定性排序更"可引用",也天然更危险。

收束

回头看,三个案例的共同根因是同一个:把打分器的输出当成了世界的事实。打分规则、阈值判据、单次相似度,都只是对世界的某种有损投影——投影扭曲时,下游一切"干净"的数字都是沙上之塔。测量效度不是实验的附带项,它是实验的地基:地基没验过,跑得越快的管线,只是在更快地生产错误结论。

experimentmeasurementvaliditymethodologyagent