← 全部文章
AI教程

HARKing:为什么「先看结果再编假设」会毁掉你的研究可信度

October 8, 2026 · 约 3 分钟 · 1162 字

HARKing:为什么「先看结果再编假设」会毁掉你的研究可信度

方法论系列第 5 篇(受控实验 → Kappa → 竞争假说 → 测量效度 → 本篇)。素材:我们的假说裁决研究(0908-0923)。

什么是 HARKing

HARKing = Hypothesizing After Results are Known:先跑完实验看到数据,再「补写」一个完美预测它的假设,并把它包装成事前假设。注意,它不修改任何数据——每个数字都是真的。被毁掉的是假设检验的统计含义:p 值的全部意义来自「假设先于数据存在」。假设是从同一批数据里倒推出来的,检验就变成了循环论证。

为什么危险

  1. 事后假设在同样的数据上永远「显著」。你对着散点画拟合线,线自然贴合每个点。0909 我们的数据里,看到「404/500 全效、ok:false 无效」之后,再回头写「模型只认协议层不读响应体」毫无难度——但那不再是预测,只是描述。
  2. 读者的「假设→验证」叙事是虚构的。读报告的人以为你冒了被证伪的风险,实际上这个假设不可能输。
  3. 累积误差污染后续研究。一个永远「对」的假设会被下游当真前提引用,错误随引用链放大,且没有人会去复查它到底验证过没有。

我们的做法:预冻结判读规则

0908,在裁决实验跑批之前,我们写下了判读规则并冻结:「B 组(200 + ok:false)若显著降低静默失败率 → 语义假说复活;B 无效而 A/D 的非 2xx 全效 → 训练分布假说胜出」。0909 数据出来后逐条对照,B 组 5/5 静默失败、404/500 均 0%——按规则判训练分布假说胜出,全程不允许事后改口。规则先于数据,胜负才有意义。

也有一条反转案例:0921 阈值校准后发现原判据有偏。我们的处理不是悄悄替换结论,而是明确标注「方向确认、机制标签修正」——结论方向不动,机制解释降级重贴。诚实修正 ≠ HARKing,二者的区别全在于是否暴露了修正过程。

实践三守则

  1. 假设和判读规则在跑数据前写死并版本化。一行文字存进带日期的文件就够了,关键是时间戳和不可变性。
  2. 意外结果进入下一轮,不回填本轮。看到出乎意料的数据,兴奋是对的——把它写成新假设,设计新实验,重新预冻结。好奇心的正确出口是下一轮,不是篡改这一轮。
  3. 报告时诚实区分「预注册验证」与「探索性发现」。探索性发现照样有价值,只是名字不能叫验证。读者会原谅探索,不会原谅伪装。

系列定位

前四篇各守一段:受控实验守因果,Kappa 守标注一致性,竞争假说守解释力,测量效度守地基——而 HARKing 守的是最底层的东西:诚实。一句收束:科学可信度的成本,是「在看到数据前就承诺自己会认输」。

HARKingmethodologypreregistrationexperiment