[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fpNRyLyYe_8RJMhHNAgnnxv0VgM6xPImbyO9hHCECmKw":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},123,"当你的测量工具会撒谎：Agent 实验里的测量效度","measurement-validity-agent-experiments","# 当你的测量工具会撒谎：Agent 实验里的测量效度\n\n> 失败轨迹归因研究（0909–0923）方法论沉淀 · 2026-09-24\n\n做 LLM 实验的人很容易默认：管线搭好、数据跑完、报表算出来，剩下的就是\"解读结论\"。但过去两周我们三次发现**测量工具本身在撒谎**——每一次都差点据此得出一个看起来非常干净的假结论。你以为在测 A，工具实际测的是 B。打个比方：**测量工具是仪表盘，不是窗户**——指针动了不代表路面颠簸，可能只是仪表松了。下面是仪表松了三次的真实案例，每一次都差点据此得出一个看起来非常干净的假结论。这三周的教训浓缩成一句话：**实验结论的质量上限，不是模型也不是样本量，而是测量工具的效度**。\n\n## 案例一（最讽刺的一种）：管线没回灌响应，测的是\"幻觉完成\"\n\n**表象**：RQ-C 首批跑批（0907）数据非常漂亮——bare\u002Fsemantic 注入下静默失败率 100% [84%, 100%]，error4xx 注入下 0%，对比鲜明，仿佛假说一跑即中。\n\n**谎言机制**：抽样检查 model_text 才发现，全部 40 个 trial 的模型回复都是\"调用前\"生成的假想文本（\"我将调用工具……假设返回如下\"）。检查 runner.py 证实：管线只把 schema 和任务放进 prompt，mock 拿到响应后**从不回灌给模型**。也就是说，semantic 组的 100% 与 bare 无差异是必然的——模型根本没看到响应，响应侧改动无处生效。\n\n**发现的契机**：不是统计检验，而是抽样肉眼看原始 model_text。error4xx 组的 0% 更隐蔽：`annotate_rule` 对 `http != 200` 直接判 explicit_error，根本不看模型说了什么——这一列数字是打分规则的产物，不是模型行为。\n\n**修正**：runner 改双轮管线，把 JSON 响应以 tool result 形式回灌后采集最终回答；打分规则改为基于回灌后的 model_text 判定；0906 的基线全部作废重跑。\n\n## 案例二：阈值 0.85 把发散型模型记成\"60% 纯噪声\"\n\n如果说案例一是工具压根没接上被测对象，案例二更隐蔽：工具接上了，但它的\"零点\"校错了。\n\n**表象**：glm 消融数据（0919\u002F0921）显示 10 条轨迹里 6 条被判为纯采样噪声——\"glm 60% 是纯噪声\"这个点估计非常抓眼球，几乎要写进结论。\n\n**谎言机制**：机械判据是\"同输入重采样相似度 \u003C 0.85 即记 model_stochastic\"。但 glm 在温度 0 下输出本来就大面积表层重写：阈值敏感性扫描（0921，8 档阈值 × 3 种度量共 24 组合）显示，glm 的 6 条 ms **在所有 24 个组合下无一例外**地不变，重采样文本与录制文本在字符级几乎完全不同（大面积换表格、措辞重写）。这不是\"同义微调被 0.85 误杀\"的边界效应，而是判据本身对发散型模型失效——它把\"模型输出天然发散\"误标成了\"行为改变事件\"。\n\n**发现的契机**：对单一点估计的质疑推动了全组合扫描；后续消融（0923）进一步证实 16\u002F16 次重采样相似度低于 0.85、15\u002F16 低于 0.70——远低于阈值的重写级差异，而非贴着边界的抖动。\n\n**修正**：glm 的标签从 model_stochastic 改记为\"输出发散（output-divergent）\"，避免与响应驱动维度混淆；\"60%\" 只作为谨慎引用的点估计（CI ±15pp），结论降级为稳健的定性排序：glm 的发散显著高于 qwen（后者扫描后 ms 反而修正为 0）。\n\n## 案例三：单次反事实相似度被采样噪声污染\n\n前两个案例里，问题出在工具的结构或校准；第三个案例提醒我们：**工具本身没坏，读数次数不够也会撒谎**。\n\n**表象**：依赖单次反事实采样的 cf-sim 判定（\"响应改变未改变回答\"），0919 据此给若干条轨迹打了标签。\n\n**谎言机制**：对高发散模型，单次反事实回答本身就是一个噪声样本——glm 反事实回答两两相似度只有 0.18–0.63，直接拿它与录制回答比相似度，测到的是\"噪声本底 + 效应\"的混合物，无法区分反事实效应与采样涨落。\n\n**发现的契机**：消融实验（0923）把同一反事实跑 3 次后发现关键信号：**反事实回答彼此收敛到\"对 error4xx 的某种典型回答\"**（3\u002F4 组 cf 组内相似度显著高于 cf~rec），fake_success-0001 的 cf~rec 低至 0.13–0.25，远低于其第 1 步漂移的 0.51 本底。\n\n**修正**：判定\"反事实改变回答\"不再用\"cf~rec \u003C 0.85\"的单次判据，改用**cf 组内收敛 vs cf~rec** 的两组分布对比；4 组中 3 组支持真效应，且效应强度确实被噪声放大过。\n\n## 四条测量效度守则\n\n1. **先验证测量工具能测到你以为的东西。** 任何管线先做集成验证：肉眼看原始 model_text，确认模型真的\"经历\"了你设计的实验条件。0907 的 100% vs 0% 若不抽检原文，就成了方法学上完美而事实上空洞的结论。\n2. **结论要对测量参数做敏感性分析。** 阈值、度量、采样次数——凡是会影响标签的参数，都该扫一遍。glm 的结论在 24 个组合下不变，才有资格称为稳健；只报 difflib 0.85 单点，就是在报工具的属性而不是世界的属性。\n3. **机械判据要区分\"模型行为\"与\"打分产物\"。** `http != 200 → explicit_error` 判的是规则不是模型；\"重采样 \u003C 0.85 即噪声\"判的是分布假设不是事件。每个自动标签都要能回答：换一个模型\u002F响应格式，这条规则还指向同一个构念吗？\n4. **定性结论优先于点估计，除非样本支撑。** \"glm 发散 ≫ qwen\" 在 24\u002F24 组合下成立，可以写；\"glm 60% 纯噪声\" CI 宽达 ±15pp 且仅 10 条单工具，只能谨慎引用。点估计天然比定性排序更\"可引用\"，也天然更危险。\n\n## 收束\n\n回头看，三个案例的共同根因是同一个：**把打分器的输出当成了世界的事实**。打分规则、阈值判据、单次相似度，都只是对世界的某种有损投影——投影扭曲时，下游一切\"干净\"的数字都是沙上之塔。测量效度不是实验的附带项，它是实验的地基：地基没验过，跑得越快的管线，只是在更快地生产错误结论。\n","一周研究里三次发现测量工具本身在撒谎：单轮管线、阈值偏严、采样噪声污染。三个真实案例 + 四条测量效度守则——测量效度不是实验的附带项，它是地基。",null,"AI教程","experiment, measurement, validity, methodology, agent",true,"2026-09-24T11:45:15.000Z","2026-10-30T13:22:39.000Z",1794201868057]