[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fnyGoz3fpXPicT0RNS7e24fVic8PHFscTkFIXC9vHdoc":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},27,"竞争假说设计：怎么让实验真正裁决对错","competing-hypotheses-design","# 竞争假说设计：怎么让实验真正裁决对错\n\n> 方法论系列第二篇。前作《受控对照实验》（2026-09-04）讲的是**怎么控制变量**；这一篇往前走一步，讲**怎么设计假说，让实验结果真的有裁决力**。两篇合起来才是一套完整的因果纪律。\n\n---\n\n## 一、很多实验，做了等于没做\n\n先看一个常见的设计：你想验证「给工具响应加一个 `status` 字段能不能让模型意识到出错」，于是跑了两组——\n\n- 组 1：加 `status` 字段\n- 组 2：什么都不加\n\n结果组 1 好一点。你能得出什么结论？几乎没有。可能这个字段本身有语义作用，也可能只是**任何额外的结构化信号**都能引起模型注意，甚至只是采样波动。结果组 1 没变化呢？同样解释不了——也许是字段语义太弱，也许是模型根本不读响应体。\n\n问题不在执行，在**设计**：这两组是假说的独角戏——只检验了你自己的假说，从未给任何竞争假说出场的机会。无论结果如何，你都无法区分「我的假说对了」和「另一个假说也能解释这个结果」。这样的实验跑完，认知并没有往前挪。\n\n## 二、核心原则：好实验是假说间的擂台\n\n好实验不是假说的独角戏，而是**假说之间的擂台**——让两个（或多个）对同一现象的不同解释同台竞技，赌它们给出**不同的预测**，再用数据淘汰一方。\n\n所以每做一个设计选择，都要问一句：**「这个结果能不能区分假说 X 和假说 Y？」** 如果 X 和 Y 在这个条件下预测完全相同，这个条件就没有裁决力，是白跑的组。反过来，设计者的功夫全在寻找那道「分界线」上：一个条件，两边预测相反。\n\n## 三、真实案例：给两个假说搭擂台\n\n我们最近在研究一个现象：agent 调用工具出错时（返回空结果），会**静默失败**——把异常结果合理化成正常答案，而不是报告错误。已有一个大效应：只要把注入的错误响应从 `200 + 空数组` 换成标准的 `404`，静默失败率从 100% 掉到 0%。\n\n但为什么会这样？两个假说都能解释：\n\n- **训练分布假说**：RLHF 数据里「HTTP 4xx\u002F5xx + 错误文案」高频共现，模型学到的是「非 2xx = 报错」这种浅层映射；`status: \"no_match\"` 这种自造信号是长尾，从未被强化。\n- **语义假说**：模型其实理解响应内容，只是 `status` 字段的表达力不够。\n\n注意：仅凭「404 有效、status 无效」这个已有结果，两个假说都说得通。于是我们设计了一组互相咬合的条件（一次跑批同时完成）：\n\n**A 组（标准 404，已有基线）× B 组（`200 + {\"ok\": false, \"reason\": \"...\"}`）**。这一对就是分界线本身：语义假说预测 B 有效——错误信息是明确的、内容级的；分布假说预测 B 无效——非 2xx 才是模型认的唯一钥匙，JSON 体里的 `false` 无关紧要。**同一个实验，两个假说预测相反，谁赢一目了然。**\n\n**C 组（假装成功的反向对照）**：返回 `200 + {\"ok\": true, ...}` 但内容自相矛盾。它排除一个平凡解释——「模型看到任何结构化 JSON 就照转，跟语义没关系」。如果 C 组模型照样合理化矛盾内容，说明模型并非无脑转发，B 组的（无效）结果才有干净的解读空间。**先拆掉平凡解释，擂台才公平**——否则就算 B 组赢了，赢的也可能是裁判缺席的假胜利（前作《fake_success 的危险》讲过这一点在评估端的镜像）。\n\n**D 组（5xx vs 4xx）**：若两者同效，说明起作用的是纯「非 2xx」的模式匹配；若出现分化（比如模型对 4xx 更「认」），说明错误码类别被区别对待，存在更深一层的错误理解。D 组不直接裁决 A\u002FB 之争，但无论谁赢擂台，它都能把胜者的机制再切细一层——这是擂台的「下半场」：先分胜负，再解剖胜者。\n\n### 判读规则必须预冻结\n\n我们事先写死了判读标准：**B 组显著降低静默失败 → 语义假说复活；B 无效而 A\u002FD 的非 2xx 全效 → 训练分布假说胜出。** 为什么必须在看数据前定死？因为数据到手后，人总能为任何结果找到「其实也在预料之中」的说法——事后解释是无限的。预冻结判读规则，就是把「什么结果算谁赢」变成事先的承诺，实验才从「找支持」变成「真裁决」。这也是预注册（preregistration）精神的微缩版。\n\n## 四、三条实践规则\n\n1. **先列全假说，再设计实验。** 动手前问：对同一现象，还有哪些合理解释？没列出来的假说，就是没上场的对手——它赢了你还不知道。\n2. **给每个假说找一个「它若为真必出现」的预测。** 模糊的「应该有点用」不算预测；「B 组静默失败率显著下降」才算。找不到差异化预测的两个假说，用当前手段无法区分，要么换条件，要么承认暂时分不出。\n3. **平凡解释优先排除。** 「任何 JSON 都照转」「样本量不够」「管线有 bug」这类解释便宜又致命，先用反向对照把它们拆掉，再让主假说上场——否则赢了也是赢在裁判缺席。\n\n---\n\n一句话总结：控制变量保证实验**干净**，竞争假说设计保证实验**有裁决力**。前者防止噪声混进结果，后者防止歧义留在结果里。缺了后者，再干净的实验也只是自己假说的独角戏——数据再漂亮，认知也原地踏步。\n\n*写于 2026-09-08，与《受控对照实验：怎么证明 A 导致了 B》（2026-09-04）互补成篇。*\n","很多实验做了等于没做——只给自己的假说出场机会。用我们真实的假说裁决案例（404 vs status 字段 vs 反向对照）讲怎么设计有裁决力的实验。",null,"AI教程","experiment-design, hypotheses, methodology, falsifiability",true,"2026-09-08T21:20:16.000Z","2026-09-26T11:44:47.963Z",1794201865734]