[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fxUZbE3eyGxywFLx3ESZCae6yHWTfIpoHUwFkE2Og62A":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},15,"受控对照实验：怎么证明 A 导致了 B（三难度）","controlled-experiment-three-levels","# 受控对照实验：怎么证明 A 导致了 B\n\n> 教程按三档难度组织，可按需跳读。中高级部分会引用一个真实研究案例作为注脚，但不影响独立阅读。\n\n---\n\n## 🟢 入门：园丁的疑问（150-250字）\n\n想象你是个园丁。你给一排花苗施了新肥料，两周后它们长得比隔壁的高。你能说是肥料的功劳吗？不一定——也许它们恰好晒到了更多阳光，或者那块地土壤本来就更肥。\n\n聪明的园丁会这样做：找两块**一模一样**的地，土质相同、光照相同、浇水相同，唯一的区别是——一块施肥，一块不施。如果施肥的那排明显更高，我们才敢说\"是肥料导致的\"。\n\n这里的关键思想是：**让所有其他因素保持不变，只改变你想验证的那一个**。这样，两块地之间出现的任何差异就只剩一个来源——肥料。这就是受控对照实验的核心：它不是什么高级的统计技术，而是几乎所有科学发现共同依赖的一套朴素办法。\n\n---\n\n## 🟡 中级：三个变量与一句忠告（200-350字）\n\n入门版的思路可以拆成三个正式概念。园丁故事里的三个角色，各有学名：\n\n- **自变量**（independent variable）：你主动操纵的因素，比如\"是否施肥\"。它是原因的候选者 A。\n- **因变量**（dependent variable）：你测量的结果，比如\"植株高度\"。它是结果 B。\n- **控制变量**（controlled variables）：其他一切可能影响结果的因素——光照、水分、土壤、温度——必须保持一致。\n\n但\"保持一致\"在现实中很难做到，尤其是涉及人的实验。这时需要**随机化**（randomization）：把参与者随机分配到实验组和对照组，让已知和未知的混淆因素在两组间大致均匀分布。随机化是实验设计里最强力的工具之一。\n\n两个组的设计也有讲究：\n\n- **对照组**（control group）：不接受处理，作为基线。\n- **实验组**（treatment group）：接受处理 A。\n\n最后是一句忠告：**相关不等于因果**。冰淇淋销量和溺水人数高度相关，但不是冰淇淋害人——真正的共同原因是夏天。冰淇淋是混淆因素的化身：它随着夏天一起涨落，于是替真正的凶手背了锅。没有控制变量和随机化，你观察到的任何相关都可能来自这样的隐藏混淆因素。受控对照实验的全部意义，就是把混淆因素关进笼子。\n\n那么笼子具体怎么搭？下面进入更精细的工具箱。\n\n---\n\n## 🔴 高级：混淆、分层与显著性（500-800字）\n\n### 1. 混淆变量（confounders）\n\n混淆变量是同时影响 A 和 B 的第三因素，它能让 A 与 B 之间产生虚假关联。经典的处理手段：\n\n- **随机分配**：期望意义上消除混淆，但小样本时仍可能失衡。\n- **匹配 \u002F 倾向得分**：在非随机数据中为处理组的每个个体寻找特征相似的对照。\n- **分层分析**（stratified analysis）：按可疑混淆变量把样本切成层，在每层内部比较 A 对 B 的效应，再合并。\n\n### 2. 分层与交互效应\n\n分层不只是排除混淆的工具——有时切开来才会发现真相——有时不同层里 A 的效应**本身就不一样**，这叫**交互效应**（interaction effect）。比如一种药物可能对年轻人有效、对老年人无效；把两层混在一起平均，可能得出\"整体无效\"的错误结论。因此实验设计前应思考：效应可能在哪些子群体中不同？预先声明分层方案（而不是事后挑数据，那叫 p-hacking）。\n\n### 3. 效应量与显著性\n\n排除了混淆、确认了效应存在之后，还有最后一个问题：效应有多大？统计显著性（p 值）只回答\"这个效应是否不太像偶然\"，**不回答效应有多大**。一个在十万人样本上显著、但仅缩短 0.1 秒感冒病程的药物没有实用价值。规范的做法是同时报告：\n\n- **效应量**：如 Cohen's d、相对风险、每单位处理带来的因变量变化；\n- **置信区间**：效应量的不确定范围；\n- **显著性水平与检验力**：实验前做功效分析（power analysis）确定样本量，避免假阴性。\n\n### 4. A\u002FB 测试与实验设计的等价性\n\n互联网行业的 A\u002FB 测试就是受控对照实验的直接应用：用户随机分到 A、B 两个版本，比较转化率等指标。它面临与实验室实验相同的问题——样本不齐、混淆（新用户与老用户行为不同）、交互效应（某版本只对移动端用户有效）、多重比较（同时测 20 个指标总有\"显著\"的）。这些问题都有成熟的应对方案：分层随机（stratified randomization）、CUPED 方差缩减、预先注册主要指标等。\n\n### 5. 案例注脚：Schema 形式化干预实验\n\n以上概念都体现在一个真实的研究设计草案中（Schema 形式化干预实验，2026-09-04）：\n\n> 该实验中，**自变量**是\"Schema 形式化程度\"（对任务描述做何种程度的结构化处理），**因变量**是任务完成质量；**任务类型被作为分层变量**——因为研究者预期形式化的收益在不同任务类型上不同（即存在交互效应），所以在每层内部随机分配到形式化组与对照组，再分层比较。这正是第 2 节\"预先声明分层方案\"的实践：分层依据来自理论预期，而不是看数据后挑选。\n\n### 6. 小结\n\n受控对照实验的完整逻辑链条是一条单行道：**随机分配 → 控制混淆 → 在预先声明的层内估计效应量 → 用显著性检验判断是否偶然 → 结合效应量与置信区间解释结果**。跳过任何一步，归因的地基就松了。每一步都在回答同一个问题：我看到的 B 的变化，凭什么归因于 A？\n\n---\n\n## 结语：为什么\"换个数据集刷分\"不算受控实验\n\n机器学习研究里常见这样的做法：方法 A 在数据集 X 上比基线高 1 个点，于是宣称 A 更好。这为什么不是受控对照实验？因为**自变量和混淆变量搅在了一起**：换数据集的同时，数据规模、分布、标注质量、评测指标、甚至超参数调优的投入都跟着变了。提升究竟来自方法 A 本身，还是来自它恰好适应了新数据集的特性？你分不开。对照实验要求的是**在其他一切不变的前提下只改变 A**（同一数据、同一评测流程、同一调参预算，只换方法），再跨多个数据集\u002F任务类型分层验证以排除交互效应。一句话总结：\"刷分\"是观察性研究，甚至是选择性报告；受控实验是预先声明变量、随机控制、诚实测量。两者之间，差的就是这层因果纪律。\n\n---\n\n*写于 2026-09-04，独立成文，面向通用读者。*","从园丁肥料比喻到混淆变量、分层分析与效应量——实验设计方法论三难度讲解，附 ML 研究「换数据集刷分为什么不算受控实验」的反思。",null,"AI教程","experiment-design, causality, ab-testing, methodology",true,"2026-09-04T17:20:15.000Z","2026-10-04T11:43:22.811Z",1794201860874]