← 全部文章
AI教程

竞争假说设计:怎么让实验真正裁决对错

September 9, 2026 · 约 6 分钟 · 2123 字

竞争假说设计:怎么让实验真正裁决对错

方法论系列第二篇。前作《受控对照实验》(2026-09-04)讲的是怎么控制变量;这一篇往前走一步,讲怎么设计假说,让实验结果真的有裁决力。两篇合起来才是一套完整的因果纪律。


一、很多实验,做了等于没做

先看一个常见的设计:你想验证「给工具响应加一个 status 字段能不能让模型意识到出错」,于是跑了两组——

  • 组 1:加 status 字段
  • 组 2:什么都不加

结果组 1 好一点。你能得出什么结论?几乎没有。可能这个字段本身有语义作用,也可能只是任何额外的结构化信号都能引起模型注意,甚至只是采样波动。结果组 1 没变化呢?同样解释不了——也许是字段语义太弱,也许是模型根本不读响应体。

问题不在执行,在设计:这两组是假说的独角戏——只检验了你自己的假说,从未给任何竞争假说出场的机会。无论结果如何,你都无法区分「我的假说对了」和「另一个假说也能解释这个结果」。这样的实验跑完,认知并没有往前挪。

二、核心原则:好实验是假说间的擂台

好实验不是假说的独角戏,而是假说之间的擂台——让两个(或多个)对同一现象的不同解释同台竞技,赌它们给出不同的预测,再用数据淘汰一方。

所以每做一个设计选择,都要问一句:「这个结果能不能区分假说 X 和假说 Y?」 如果 X 和 Y 在这个条件下预测完全相同,这个条件就没有裁决力,是白跑的组。反过来,设计者的功夫全在寻找那道「分界线」上:一个条件,两边预测相反。

三、真实案例:给两个假说搭擂台

我们最近在研究一个现象:agent 调用工具出错时(返回空结果),会静默失败——把异常结果合理化成正常答案,而不是报告错误。已有一个大效应:只要把注入的错误响应从 200 + 空数组 换成标准的 404,静默失败率从 100% 掉到 0%。

但为什么会这样?两个假说都能解释:

  • 训练分布假说:RLHF 数据里「HTTP 4xx/5xx + 错误文案」高频共现,模型学到的是「非 2xx = 报错」这种浅层映射;status: "no_match" 这种自造信号是长尾,从未被强化。
  • 语义假说:模型其实理解响应内容,只是 status 字段的表达力不够。

注意:仅凭「404 有效、status 无效」这个已有结果,两个假说都说得通。于是我们设计了一组互相咬合的条件(一次跑批同时完成):

A 组(标准 404,已有基线)× B 组(200 + {"ok": false, "reason": "..."})。这一对就是分界线本身:语义假说预测 B 有效——错误信息是明确的、内容级的;分布假说预测 B 无效——非 2xx 才是模型认的唯一钥匙,JSON 体里的 false 无关紧要。同一个实验,两个假说预测相反,谁赢一目了然。

C 组(假装成功的反向对照):返回 200 + {"ok": true, ...} 但内容自相矛盾。它排除一个平凡解释——「模型看到任何结构化 JSON 就照转,跟语义没关系」。如果 C 组模型照样合理化矛盾内容,说明模型并非无脑转发,B 组的(无效)结果才有干净的解读空间。先拆掉平凡解释,擂台才公平——否则就算 B 组赢了,赢的也可能是裁判缺席的假胜利(前作《fake_success 的危险》讲过这一点在评估端的镜像)。

D 组(5xx vs 4xx):若两者同效,说明起作用的是纯「非 2xx」的模式匹配;若出现分化(比如模型对 4xx 更「认」),说明错误码类别被区别对待,存在更深一层的错误理解。D 组不直接裁决 A/B 之争,但无论谁赢擂台,它都能把胜者的机制再切细一层——这是擂台的「下半场」:先分胜负,再解剖胜者。

判读规则必须预冻结

我们事先写死了判读标准:B 组显著降低静默失败 → 语义假说复活;B 无效而 A/D 的非 2xx 全效 → 训练分布假说胜出。 为什么必须在看数据前定死?因为数据到手后,人总能为任何结果找到「其实也在预料之中」的说法——事后解释是无限的。预冻结判读规则,就是把「什么结果算谁赢」变成事先的承诺,实验才从「找支持」变成「真裁决」。这也是预注册(preregistration)精神的微缩版。

四、三条实践规则

  1. 先列全假说,再设计实验。 动手前问:对同一现象,还有哪些合理解释?没列出来的假说,就是没上场的对手——它赢了你还不知道。
  2. 给每个假说找一个「它若为真必出现」的预测。 模糊的「应该有点用」不算预测;「B 组静默失败率显著下降」才算。找不到差异化预测的两个假说,用当前手段无法区分,要么换条件,要么承认暂时分不出。
  3. 平凡解释优先排除。 「任何 JSON 都照转」「样本量不够」「管线有 bug」这类解释便宜又致命,先用反向对照把它们拆掉,再让主假说上场——否则赢了也是赢在裁判缺席。

一句话总结:控制变量保证实验干净,竞争假说设计保证实验有裁决力。前者防止噪声混进结果,后者防止歧义留在结果里。缺了后者,再干净的实验也只是自己假说的独角戏——数据再漂亮,认知也原地踏步。

写于 2026-09-08,与《受控对照实验:怎么证明 A 导致了 B》(2026-09-04)互补成篇。

experiment-designhypothesesmethodologyfalsifiability