为什么"相关"不等于"因果"
两件事总是一起发生,不代表一件导致了另一件。让我们从冰淇淋说起。
一个经典陷阱:冰淇淋与溺水
统计数据里有一个著名的现象:冰淇淋销量和溺水人数高度相关——冰淇淋卖得越多,溺水的人越多。是冰淇淋害人吗?
当然不是。真正的原因藏在幕后:夏天。天热 → 人们既买冰淇淋又去游泳 → 两个数字一起涨。冰淇淋和溺水只是"同病相怜的难兄难弟",它们互相之间没有任何因果关系。
观察到 A 与 B 一起出现 {
可能1 = A 导致 B
可能2 = B 导致 A
可能3 = C 同时导致 A 和 B // 混淆
return '无法确定' // 只看数据
}
看到 A 和 B 总是一起变化,先别激动。
也许是 A 引起了 B——但也许不是。
也可能是反过来,B 才是那个"原因"。
最狡猾的是第三个隐藏角色 C,同时推高两者。
仅凭观察数据,三种可能你分不清——这就是相关性的骗局。
看到 A 和 B 一起变化时,至少有三种可能:A 导致 B、B 导致 A、或者第三个隐藏因素 C 同时导致了 A 和 B。只看数据,你分不清是哪一种。
园丁的疑问
想象你是个园丁。你给一排花苗施了新肥料,两周后它们比隔壁没施肥的长得高。你能拍胸脯说"是肥料的功劳"吗?
先别急——也许它们恰好晒到了更多阳光,也许那块地土壤本来就更肥。我们用一个互动卡片来理清这个局面:
影响花苗高度的因素
找两块一模一样的地——土质相同、光照相同、浇水相同,唯一的区别是:一块施肥,一块不施。这样一来,任何高度差就只能来自肥料。这就是"让其他因素保持不变,只改变你想验证的那一个"。
小测验:练就一双"因果眼"
研究发现:常去健身房的人生病更少。以下哪个说法最严谨?
园丁想真正验证肥料的效果,最关键的一步是什么?
受控实验三要素
把"聪明的园丁"升级为科学方法:自变量、因变量、控制变量。
三个角色,各司其职
园丁的直觉背后,藏着三个正式概念。用一场实验来认识它们——每个概念都是一个"角色":
自变量 Independent Variable
你主动操纵的因素——比如"是否施肥"。它是原因的候选者 A,整个实验就为验证它而存在。
因变量 Dependent Variable
你测量的结果——比如"植株高度"。它是结果 B,"依赖"自变量的变化而得名。
控制变量 Controlled Variables
其他一切可能影响结果的因素——光照、水分、土壤、温度——必须保持一致,不许捣乱。
一个记忆窍门:自变量是"我改的",因变量是"我量的",控制变量是"我按住的"。三个动词,三个角色。
你来当实验设计师:拖拽配对
场景:一家奶茶店想验证"把杯子换大一号能不能提高顾客满意度"。下面是实验里的各个元素——把它们拖进正确的角色槽:
🎛️ 自变量——实验者主动改变的
📏 因变量——被测量、随自变量变化的
🔒 控制变量——必须保持一致的
问自己:这是实验者故意改动的(自变量)?是拿来打分测量的(因变量)?还是必须两边一模一样的(控制变量)?同一现实元素在不同实验里角色会变——关键是它在这个实验里的职责。
实验设计图鉴:一场实验的"聊天记录"
把实验想象成一个工作群:实验者发号施令,各变量各自汇报。看它们如何配合:
写给 AI 的实验协议
如今很多人让 AI 帮忙设计实验。一份清晰的设计文档,用"代码"写出来是这样的——右边是逐行人话翻译:
experiment 验证新肥料 {
自变量 = 是否施肥 // 唯一改动
因变量 = 两周后植株高度
控制 = [光照, 水分, 土壤, 温度]
A组 = 施肥(实验组)
B组 = 不施肥(对照组)
assert 其余条件完全相同
}
给这场实验起个名字:验证新肥料。
我们唯一主动改变的东西,就是施不施肥。
我们测量的是两周后的植株高度。
其他可能捣乱的因素全部锁死、保持一致。
A 组接受处理,是实验组;B 组是基线,叫对照组。
断言:除此之外两组必须一模一样——这是结论成立的前提。
没有 B 组,你只知道"施肥后长到 32cm",却不知道"不施肥会长多高"。对照就像照片里的背景板——没有背景,你无法判断主体是高是矮。
终极考验:三选一的判断题
一个视频博主想知道"封面带人脸能不能提高播放量"。他准备了同一支视频的 两个版本:A 封面带人脸、B 不带,随机推给观众,其他一切相同。
这场实验中,"封面是否带人脸"和"播放量"分别是什么?
这位博主的设计里,最关键的方法论步骤是什么?
混淆变量与分层分析
当"其他条件"没法保持一致时,如何把捣乱分子揪出来、关进笼子。
谁是混淆变量?
混淆变量是同时影响 A 和 B 的第三因素——它就像藏在幕后的提线木偶师,让你以为是 A 在拉动 B。
冰淇淋与溺水背后的"夏天"就是典型的混淆变量。现实中还有成千上万个它的兄弟:
混淆变量:常喝红酒的人往往收入更高、饮食更好、医疗条件更佳
混淆变量:报得起辅导班的家庭,往往也更重视教育、有更好的学习环境
混淆变量:喝咖啡的多是年轻上班族,本来就年轻健康——年龄把水搅浑了
对付混淆变量有三大武器,按"数据条件"从好到差排列:
把参与者随机分到实验组和对照组,让混淆因素在两组间大致均匀分布。期望意义上消除一切混淆——包括你没想到的。但小样本时仍可能失衡。
拿不到随机数据时,为处理组的每个个体寻找特征相似的对照。比如给每个喝咖啡的人配一个年龄、性别、职业相同的"不喝咖啡双胞胎"。
按可疑的混淆变量把样本切成层(比如按年龄段),在每层内部比较 A 对 B 的效应,再合并结论。下面的互动会展示它的威力。
亲眼看翻转:辛普森悖论
1962 年,伯克利分校研究生录取数据看起来性别歧视严重:男生录取率 44%,女生只有 35%。但把数据按院系分层后,事情彻底翻转了——大多数院系里,女生录取率反而更高。
怎么回事?女生更多申请了竞争激烈的院系。混淆变量"院系"把总体数字骗了我们。点击按钮,切换视角:
同一份数据,切层前与切层后结论完全相反——这就是为什么混淆变量如此危险,而分层如此重要。
for 层 in 按混淆变量切分(样本): {
层内效应 = 比较(A 对 B) // 混淆被锁住
}
合并结论 = 聚合(所有层内效应)
先按可疑的混淆变量,把样本切成一层一层。
在同一层里,大家的混淆因素几乎一样,没法捣乱。
于是层内的 A→B 效应终于露出真面目。
最后把各层的结论合并起来,就是更可信的答案。
在每一个分层里 A 都更好,但合在一起却是 B 更好——聚合数据可能讲一个与真相完全相反的故事。只要混淆变量存在,汇总统计就不可信。
分层不只是"除虫",还是"探矿"
分层还有一个更深的用途:有时效应在不同层里本来就不一样,这叫交互效应。
比如一种药物可能对年轻人有效、对老年人无效。如果把两层混在一起平均,可能得出"整体无效"的错误结论——好药就这样被埋没了。
分层方案必须在实验开始前根据理论预期声明。"看完数据再挑一个对自己有利的分层方式",在统计学里有个臭名昭著的名字:p-hacking(数据钓鱼)。
测验:揪出混淆变量
某城市统计发现:自带午餐上班的员工,年度体检指标普遍更好。公司准备发文鼓励员工自带午餐。
以下哪个最可能是这组数据里的混淆变量?
一种新药整体平均只比安慰剂好 1%,但研究者怀疑它对重症患者特别有效。最该做什么?
从 A/B 测试到 ML 实验的陷阱
受控对照实验活在你的每一次网购和每一篇 AI 论文里——也死于此。
A/B 测试:披着科技外衣的老园丁
互联网公司的 A/B 测试,就是受控对照实验的直接应用:用户随机分到 A、B 两个版本,比较转化率等指标。看一场典型的 A/B 测试如何流动:
A/B 测试面临与实验室实验一模一样的问题:样本不齐、混淆(新用户与老用户行为不同)、交互效应(某版本只对移动端用户有效)。成熟的应对方案也已就位:分层随机、CUPED 方差缩减、预先注册主要指标等。
显著 ≠ 重要:p 值的迷思
统计显著性只回答"这个效应是否不太像偶然",不回答效应有多大。
💊 一个真实风格的例子
一种新感冒药在 100,000 人的大规模实验中"显著"地缩短了感冒病程——平均缩短 0.1 秒。技术上无可挑剔,商业上一文不值。
规范的做法是同时报告三样东西:
效应量
效应到底有多大?如 Cohen's d、相对风险、每单位处理带来的变化。0.1 秒就属于"效应量约等于零"。
置信区间
效应量的不确定范围——"真实值大概率在这个区间里"。区间越窄,估计越可靠。
检验力分析
实验前用 功效分析确定样本量,避免实验"看不清"明明存在的效应。
同时测 20 个指标,总有几个"碰巧显著"——这不是发现,是抛硬币连赢五把。解药:预先注册主要指标,其他都算探索性分析。
机器学习研究里最常见的"假实验"
ML 论文里常见这样的句式:"方法 A 在数据集 X 上比基线高 1 个点,所以 A 更好。"这为什么不是受控对照实验?
因为自变量和混淆变量搅在了一起——换数据集的同时,数据规模、分布、标注质量、评测指标、甚至超参数调优的投入都变了。你根本无法把"方法 A"这个因素单独隔离出来。
刷分式(观察性研究){
数据集 = 换成新的 // 变了❗
调参预算 = 拉满 // 变了❗
评测流程 = 自定义 // 变了❗
方法 = 换成 A
声称:提升来自方法 A // 无法证明
}
受控对照式 {
数据集 = 同一批 // 锁死 ✅
调参预算 = 相同 // 锁死 ✅
评测流程 = 统一 // 锁死 ✅
方法 = 换成 A // 唯一变量
}
刷分式:换数据集、砸调参预算、自定义评测——一切都变了。
这时宣称"方法 A 更好"?不可能——提升可能来自任何一处改动。
这本质上是观察性研究,甚至混入选择性报告。
受控对照式:同一数据、同一评测、同一调参预算。
只换方法 A 这一个变量。
再加上跨多个任务类型的分层验证,排除交互效应——这才是因果纪律。
真实案例:Schema 形式化干预实验(2026-09)。研究者想验证"对任务描述做结构化处理能否提升完成质量"——自变量是形式化程度,因变量是任务完成质量,而任务类型被作为分层变量:因为预期收益在不同任务类型上不同(交互效应),所以每层内部随机分配,再分层比较。分层依据来自理论预期,在实验前声明——教科书式的操作。
找茬挑战:这份实验设计烂在哪?
一家公司宣布了新功能上线策略。点你认为最有问题的那一行: