01

为什么"相关"不等于"因果"

两件事总是一起发生,不代表一件导致了另一件。让我们从冰淇淋说起。

一个经典陷阱:冰淇淋与溺水

统计数据里有一个著名的现象:冰淇淋销量和溺水人数高度相关——冰淇淋卖得越多,溺水的人越多。是冰淇淋害人吗?

当然不是。真正的原因藏在幕后:夏天。天热 → 人们既买冰淇淋又去游泳 → 两个数字一起涨。冰淇淋和溺水只是"同病相怜的难兄难弟",它们互相之间没有任何因果关系。

逻辑推理

观察到 A 与 B 一起出现 {
  可能1 = A 导致 B
  可能2 = B 导致 A
  可能3 = C 同时导致 A 和 B // 混淆
  return '无法确定'  // 只看数据
}
          
大白话

看到 A 和 B 总是一起变化,先别激动。

也许是 A 引起了 B——但也许不是。

也可能是反过来,B 才是那个"原因"。

最狡猾的是第三个隐藏角色 C,同时推高两者。

仅凭观察数据,三种可能你分不清——这就是相关性的骗局。

⚠️
关键教训

看到 A 和 B 一起变化时,至少有三种可能:A 导致 B、B 导致 A、或者第三个隐藏因素 C 同时导致了 A 和 B。只看数据,你分不清是哪一种。

园丁的疑问

想象你是个园丁。你给一排花苗施了新肥料,两周后它们比隔壁没施肥的长得高。你能拍胸脯说"是肥料的功劳"吗?

先别急——也许它们恰好晒到了更多阳光,也许那块地土壤本来就更肥。我们用一个互动卡片来理清这个局面:

影响花苗高度的因素

🌱
新肥料
☀️
阳光
🪨
土壤
💧
浇水
👆 点击每张卡片,看看哪些因素在暗中捣乱
💡
聪明的园丁怎么做

找两块一模一样的地——土质相同、光照相同、浇水相同,唯一的区别是:一块施肥,一块不施。这样一来,任何高度差就只能来自肥料。这就是"让其他因素保持不变,只改变你想验证的那一个"。

小测验:练就一双"因果眼"

研究发现:常去健身房的人生病更少。以下哪个说法最严谨?

园丁想真正验证肥料的效果,最关键的一步是什么?

02

受控实验三要素

把"聪明的园丁"升级为科学方法:自变量、因变量、控制变量。

三个角色,各司其职

园丁的直觉背后,藏着三个正式概念。用一场实验来认识它们——每个概念都是一个"角色":

🎛️

自变量 Independent Variable

你主动操纵的因素——比如"是否施肥"。它是原因的候选者 A,整个实验就为验证它而存在。

📏

因变量 Dependent Variable

你测量的结果——比如"植株高度"。它是结果 B,"依赖"自变量的变化而得名。

🔒

控制变量 Controlled Variables

其他一切可能影响结果的因素——光照、水分、土壤、温度——必须保持一致,不许捣乱。

一个记忆窍门:自变量是"我改的",因变量是"我量的",控制变量是"我按住的"。三个动词,三个角色。

你来当实验设计师:拖拽配对

场景:一家奶茶店想验证"把杯子换大一号能不能提高顾客满意度"。下面是实验里的各个元素——把它们拖进正确的角色槽:

杯子大小
顾客满意度评分
奶茶配方与甜度
广告投放力度
回头客比例
门店与时段

🎛️ 自变量——实验者主动改变的

拖到这里

📏 因变量——被测量、随自变量变化的

拖到这里

🔒 控制变量——必须保持一致的

拖到这里
🧭
怎么判断?

问自己:这是实验者故意改动的(自变量)?是拿来打分测量的(因变量)?还是必须两边一模一样的(控制变量)?同一现实元素在不同实验里角色会变——关键是它在这个实验里的职责。

实验设计图鉴:一场实验的"聊天记录"

把实验想象成一个工作群:实验者发号施令,各变量各自汇报。看它们如何配合:

写给 AI 的实验协议

如今很多人让 AI 帮忙设计实验。一份清晰的设计文档,用"代码"写出来是这样的——右边是逐行人话翻译:

实验设计

experiment 验证新肥料 {
  自变量 = 是否施肥   // 唯一改动
  因变量 = 两周后植株高度
  控制 = [光照, 水分, 土壤, 温度]
  A组 = 施肥(实验组)
  B组 = 不施肥(对照组)
  assert 其余条件完全相同
}
          
大白话

给这场实验起个名字:验证新肥料。

我们唯一主动改变的东西,就是施不施肥。

我们测量的是两周后的植株高度。

其他可能捣乱的因素全部锁死、保持一致。

A 组接受处理,是实验组;B 组是基线,叫对照组。

断言:除此之外两组必须一模一样——这是结论成立的前提。

💡
对照组为什么重要

没有 B 组,你只知道"施肥后长到 32cm",却不知道"不施肥会长多高"。对照就像照片里的背景板——没有背景,你无法判断主体是高是矮。

终极考验:三选一的判断题

场景

一个视频博主想知道"封面带人脸能不能提高播放量"。他准备了同一支视频的 两个版本:A 封面带人脸、B 不带,随机推给观众,其他一切相同。

这场实验中,"封面是否带人脸"和"播放量"分别是什么?

这位博主的设计里,最关键的方法论步骤是什么?

03

混淆变量与分层分析

当"其他条件"没法保持一致时,如何把捣乱分子揪出来、关进笼子。

谁是混淆变量?

混淆变量是同时影响 A 和 B 的第三因素——它就像藏在幕后的提线木偶师,让你以为是 A 在拉动 B。

冰淇淋与溺水背后的"夏天"就是典型的混淆变量。现实中还有成千上万个它的兄弟:

🏥
"常喝红酒的人心脏更健康"

混淆变量:常喝红酒的人往往收入更高、饮食更好、医疗条件更佳

🎓
"上辅导班的学生成绩更高"

混淆变量:报得起辅导班的家庭,往往也更重视教育、有更好的学习环境

☕
"喝咖啡的人心脏病发少"

混淆变量:喝咖啡的多是年轻上班族,本来就年轻健康——年龄把水搅浑了

对付混淆变量有三大武器,按"数据条件"从好到差排列:

1
随机分配(Randomization)

把参与者随机分到实验组和对照组,让混淆因素在两组间大致均匀分布。期望意义上消除一切混淆——包括你没想到的。但小样本时仍可能失衡。

2
匹配 / 倾向得分(Matching)

拿不到随机数据时,为处理组的每个个体寻找特征相似的对照。比如给每个喝咖啡的人配一个年龄、性别、职业相同的"不喝咖啡双胞胎"。

3
分层分析(Stratification)

按可疑的混淆变量把样本切成层(比如按年龄段),在每层内部比较 A 对 B 的效应,再合并结论。下面的互动会展示它的威力。

亲眼看翻转:辛普森悖论

1962 年,伯克利分校研究生录取数据看起来性别歧视严重:男生录取率 44%,女生只有 35%。但把数据按院系分层后,事情彻底翻转了——大多数院系里,女生录取率反而更高。

怎么回事?女生更多申请了竞争激烈的院系。混淆变量"院系"把总体数字骗了我们。点击按钮,切换视角:

🎓 全校汇总:谁的录取率更高?

男生 44%

8442 人申请,3738 人录取

女生 35%

4321 人申请,1512 人录取

表面结论:男生录取率高 9 个百分点——疑似歧视?

同一份数据,切层前与切层后结论完全相反——这就是为什么混淆变量如此危险,而分层如此重要。

分层分析

for 层 in 按混淆变量切分(样本): {
  层内效应 = 比较(A 对 B)  // 混淆被锁住
}
合并结论 = 聚合(所有层内效应)
          
大白话

先按可疑的混淆变量,把样本切成一层一层。

在同一层里,大家的混淆因素几乎一样,没法捣乱。

于是层内的 A→B 效应终于露出真面目。

最后把各层的结论合并起来,就是更可信的答案。

🌀
辛普森悖论(Simpson's Paradox)

在每一个分层里 A 都更好,但合在一起却是 B 更好——聚合数据可能讲一个与真相完全相反的故事。只要混淆变量存在,汇总统计就不可信。

分层不只是"除虫",还是"探矿"

分层还有一个更深的用途:有时效应在不同层里本来就不一样,这叫交互效应。

比如一种药物可能对年轻人有效、对老年人无效。如果把两层混在一起平均,可能得出"整体无效"的错误结论——好药就这样被埋没了。

📋
预先声明,而不是事后挑数据

分层方案必须在实验开始前根据理论预期声明。"看完数据再挑一个对自己有利的分层方式",在统计学里有个臭名昭著的名字:p-hacking(数据钓鱼)。

测验:揪出混淆变量

场景

某城市统计发现:自带午餐上班的员工,年度体检指标普遍更好。公司准备发文鼓励员工自带午餐。

以下哪个最可能是这组数据里的混淆变量?

一种新药整体平均只比安慰剂好 1%,但研究者怀疑它对重症患者特别有效。最该做什么?

04

从 A/B 测试到 ML 实验的陷阱

受控对照实验活在你的每一次网购和每一篇 AI 论文里——也死于此。

A/B 测试:披着科技外衣的老园丁

互联网公司的 A/B 测试,就是受控对照实验的直接应用:用户随机分到 A、B 两个版本,比较转化率等指标。看一场典型的 A/B 测试如何流动:

👤
用户
🎲
分流系统
📊
统计引擎
点击"下一步"开始 A/B 测试之旅

A/B 测试面临与实验室实验一模一样的问题:样本不齐、混淆(新用户与老用户行为不同)、交互效应(某版本只对移动端用户有效)。成熟的应对方案也已就位:分层随机、CUPED 方差缩减、预先注册主要指标等。

显著 ≠ 重要:p 值的迷思

统计显著性只回答"这个效应是否不太像偶然",不回答效应有多大。

💊 一个真实风格的例子

一种新感冒药在 100,000 人的大规模实验中"显著"地缩短了感冒病程——平均缩短 0.1 秒。技术上无可挑剔,商业上一文不值。

规范的做法是同时报告三样东西:

效应量

效应到底有多大?如 Cohen's d、相对风险、每单位处理带来的变化。0.1 秒就属于"效应量约等于零"。

置信区间

效应量的不确定范围——"真实值大概率在这个区间里"。区间越窄,估计越可靠。

检验力分析

实验前用 功效分析确定样本量,避免实验"看不清"明明存在的效应。

🎯
多重比较陷阱

同时测 20 个指标,总有几个"碰巧显著"——这不是发现,是抛硬币连赢五把。解药:预先注册主要指标,其他都算探索性分析。

机器学习研究里最常见的"假实验"

ML 论文里常见这样的句式:"方法 A 在数据集 X 上比基线高 1 个点,所以 A 更好。"这为什么不是受控对照实验?

因为自变量和混淆变量搅在了一起——换数据集的同时,数据规模、分布、标注质量、评测指标、甚至超参数调优的投入都变了。你根本无法把"方法 A"这个因素单独隔离出来。

两种研究方式对比

刷分式(观察性研究){
  数据集 = 换成新的     // 变了❗
  调参预算 = 拉满       // 变了❗
  评测流程 = 自定义     // 变了❗
  方法 = 换成 A
  声称:提升来自方法 A  // 无法证明
}

受控对照式 {
  数据集 = 同一批       // 锁死 ✅
  调参预算 = 相同       // 锁死 ✅
  评测流程 = 统一       // 锁死 ✅
  方法 = 换成 A          // 唯一变量
}
          
大白话

刷分式:换数据集、砸调参预算、自定义评测——一切都变了。

这时宣称"方法 A 更好"?不可能——提升可能来自任何一处改动。

这本质上是观察性研究,甚至混入选择性报告。

受控对照式:同一数据、同一评测、同一调参预算。

只换方法 A 这一个变量。

再加上跨多个任务类型的分层验证,排除交互效应——这才是因果纪律。

真实案例:Schema 形式化干预实验(2026-09)。研究者想验证"对任务描述做结构化处理能否提升完成质量"——自变量是形式化程度,因变量是任务完成质量,而任务类型被作为分层变量:因为预期收益在不同任务类型上不同(交互效应),所以每层内部随机分配,再分层比较。分层依据来自理论预期,在实验前声明——教科书式的操作。

找茬挑战:这份实验设计烂在哪?

一家公司宣布了新功能上线策略。点你认为最有问题的那一行:

📋 上线决策报告

1我们让老用户先试用新功能两周
2同时收集他们的使用体验反馈
3对比"老用户体验期间"和"全量上线后"的留存率,决定是否保留新功能
4结果显示留存率提升了,团队很高兴

毕业测验:整门课的终极三问

要设计一个靠谱的 A/B 测试,正确的先后顺序是?

"换数据集刷分"为什么不算受控对照实验?

整门课的逻辑链条,正确顺序是?