受控对照实验:怎么证明 A 导致了 B(三难度)
受控对照实验:怎么证明 A 导致了 B
教程按三档难度组织,可按需跳读。中高级部分会引用一个真实研究案例作为注脚,但不影响独立阅读。
🟢 入门:园丁的疑问(150-250字)
想象你是个园丁。你给一排花苗施了新肥料,两周后它们长得比隔壁的高。你能说是肥料的功劳吗?不一定——也许它们恰好晒到了更多阳光,或者那块地土壤本来就更肥。
聪明的园丁会这样做:找两块一模一样的地,土质相同、光照相同、浇水相同,唯一的区别是——一块施肥,一块不施。如果施肥的那排明显更高,我们才敢说"是肥料导致的"。
这里的关键思想是:让所有其他因素保持不变,只改变你想验证的那一个。这样,两块地之间出现的任何差异就只剩一个来源——肥料。这就是受控对照实验的核心:它不是什么高级的统计技术,而是几乎所有科学发现共同依赖的一套朴素办法。
🟡 中级:三个变量与一句忠告(200-350字)
入门版的思路可以拆成三个正式概念。园丁故事里的三个角色,各有学名:
- 自变量(independent variable):你主动操纵的因素,比如"是否施肥"。它是原因的候选者 A。
- 因变量(dependent variable):你测量的结果,比如"植株高度"。它是结果 B。
- 控制变量(controlled variables):其他一切可能影响结果的因素——光照、水分、土壤、温度——必须保持一致。
但"保持一致"在现实中很难做到,尤其是涉及人的实验。这时需要随机化(randomization):把参与者随机分配到实验组和对照组,让已知和未知的混淆因素在两组间大致均匀分布。随机化是实验设计里最强力的工具之一。
两个组的设计也有讲究:
- 对照组(control group):不接受处理,作为基线。
- 实验组(treatment group):接受处理 A。
最后是一句忠告:相关不等于因果。冰淇淋销量和溺水人数高度相关,但不是冰淇淋害人——真正的共同原因是夏天。冰淇淋是混淆因素的化身:它随着夏天一起涨落,于是替真正的凶手背了锅。没有控制变量和随机化,你观察到的任何相关都可能来自这样的隐藏混淆因素。受控对照实验的全部意义,就是把混淆因素关进笼子。
那么笼子具体怎么搭?下面进入更精细的工具箱。
🔴 高级:混淆、分层与显著性(500-800字)
1. 混淆变量(confounders)
混淆变量是同时影响 A 和 B 的第三因素,它能让 A 与 B 之间产生虚假关联。经典的处理手段:
- 随机分配:期望意义上消除混淆,但小样本时仍可能失衡。
- 匹配 / 倾向得分:在非随机数据中为处理组的每个个体寻找特征相似的对照。
- 分层分析(stratified analysis):按可疑混淆变量把样本切成层,在每层内部比较 A 对 B 的效应,再合并。
2. 分层与交互效应
分层不只是排除混淆的工具——有时切开来才会发现真相——有时不同层里 A 的效应本身就不一样,这叫交互效应(interaction effect)。比如一种药物可能对年轻人有效、对老年人无效;把两层混在一起平均,可能得出"整体无效"的错误结论。因此实验设计前应思考:效应可能在哪些子群体中不同?预先声明分层方案(而不是事后挑数据,那叫 p-hacking)。
3. 效应量与显著性
排除了混淆、确认了效应存在之后,还有最后一个问题:效应有多大?统计显著性(p 值)只回答"这个效应是否不太像偶然",不回答效应有多大。一个在十万人样本上显著、但仅缩短 0.1 秒感冒病程的药物没有实用价值。规范的做法是同时报告:
- 效应量:如 Cohen's d、相对风险、每单位处理带来的因变量变化;
- 置信区间:效应量的不确定范围;
- 显著性水平与检验力:实验前做功效分析(power analysis)确定样本量,避免假阴性。
4. A/B 测试与实验设计的等价性
互联网行业的 A/B 测试就是受控对照实验的直接应用:用户随机分到 A、B 两个版本,比较转化率等指标。它面临与实验室实验相同的问题——样本不齐、混淆(新用户与老用户行为不同)、交互效应(某版本只对移动端用户有效)、多重比较(同时测 20 个指标总有"显著"的)。这些问题都有成熟的应对方案:分层随机(stratified randomization)、CUPED 方差缩减、预先注册主要指标等。
5. 案例注脚:Schema 形式化干预实验
以上概念都体现在一个真实的研究设计草案中(Schema 形式化干预实验,2026-09-04):
该实验中,自变量是"Schema 形式化程度"(对任务描述做何种程度的结构化处理),因变量是任务完成质量;任务类型被作为分层变量——因为研究者预期形式化的收益在不同任务类型上不同(即存在交互效应),所以在每层内部随机分配到形式化组与对照组,再分层比较。这正是第 2 节"预先声明分层方案"的实践:分层依据来自理论预期,而不是看数据后挑选。
6. 小结
受控对照实验的完整逻辑链条是一条单行道:随机分配 → 控制混淆 → 在预先声明的层内估计效应量 → 用显著性检验判断是否偶然 → 结合效应量与置信区间解释结果。跳过任何一步,归因的地基就松了。每一步都在回答同一个问题:我看到的 B 的变化,凭什么归因于 A?
结语:为什么"换个数据集刷分"不算受控实验
机器学习研究里常见这样的做法:方法 A 在数据集 X 上比基线高 1 个点,于是宣称 A 更好。这为什么不是受控对照实验?因为自变量和混淆变量搅在了一起:换数据集的同时,数据规模、分布、标注质量、评测指标、甚至超参数调优的投入都跟着变了。提升究竟来自方法 A 本身,还是来自它恰好适应了新数据集的特性?你分不开。对照实验要求的是在其他一切不变的前提下只改变 A(同一数据、同一评测流程、同一调参预算,只换方法),再跨多个数据集/任务类型分层验证以排除交互效应。一句话总结:"刷分"是观察性研究,甚至是选择性报告;受控实验是预先声明变量、随机控制、诚实测量。两者之间,差的就是这层因果纪律。
写于 2026-09-04,独立成文,面向通用读者。