[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$fNUNYAo1slzy0OP9Y9QJ96oBsLvwTuNRgz1U_uM9eRho":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},19,"Cohen's Kappa：标注一致性为什么不是准确率（三难度）","cohens-kappa-three-levels","# Cohen's Kappa：标注一致性为什么不是准确率\n\n> 方法论铺垫 · 对应 `research\u002Fmethodological-notes-0905.md` §4（双标注 κ≥0.7 门槛）\n> 三难度：🟢 入门 → 🟡 中级 → 🔴 高级，可按需跳读。\n\n---\n\n## 🟢 入门：两人批改作业的比喻\n\n想象两位老师各自批改同一叠作业，然后对比结果：他们 90% 的题打了相同的对错。听起来很默契？先别急——如果这叠作业里 85% 的题本来就明明白白、一眼就能判对，那两个随便猜的人也能碰巧对上一大半。这 90% 里，可能有不少只是「碰巧一致」，而不是「真有共识」。\n\n用一个最小数字例子把这个直觉钉死：100 道题里 85 道是送分题，两位老师闭着眼也都会判「对」；剩下 15 道难题，两人各自独立判断，碰巧一致的期望也就一半左右。于是一致率 ≈ 85 + 7.5 = 92.5%，但其中 85 个点是「题目白送」的——不管两位老师水平如何都能拿到。真正值得称道的默契，只发生在那 15 道难题上。**评默契，要先把送分题的价值清零。**\n\nCohen's Kappa 干的事，就是先把这种「瞎猜也能蒙对的部分」扣掉，再看剩下的才算是两位老师真正的默契程度。所以同样是一致率 90%，在简单题和刁钻题上，含金量完全不同。\n\n为什么不能只看一致率？因为一致率会被「答案分布不均衡」欺骗：大家都判「对」，一致率自然高，但这只说明题简单，不代表两位老师眼光一致。Kappa 修正了这一点。\n\n在我们的实验里，两个标注（规则脚本 + 人工盲标）要对静默失败下判断，我们要求 κ ≥ 0.7 才算「真有共识」，才允许批跑数据。\n\n---\n\n## 🟡 中级：扣掉碰巧，剩下才是共识\n\n设两个标注者在同一批样本上独立打标签。\n\n- **观察到的一致率 p₀**：两人标签相同的比例。这是表面的和谐。\n- **期望随机一致率 pₑ**：假设两人各自随机乱标（但保持各自的标签使用习惯），碰巧标出相同结果的概率。由边缘分布算出——见高级篇公式。\n\n**Kappa 的直观定义**就是：从观察到的一致里扣掉碰巧的部分，再看它占「理论上可能达到的最大共识」的比例。分子是「扣掉水分后的真默契」，分母是「水分之外本来最多能有多少默契」——一个是实得，一个是满分，相除就是一个 0 到 1 之间的成色：\n\n> κ = (p₀ − pₑ) \u002F (1 − pₑ)\n\nκ = 0 表示一致程度和瞎猜没区别；κ = 1 表示完美共识；κ \u003C 0 则比瞎猜还差（通常说明有人理解反了）。\n\n回到入门篇的例子：若两位老师的习惯决定的期望碰巧一致率 pₑ ≈ 0.9，而观察到 p₀ ≈ 0.925，则 κ = (0.925 − 0.9) \u002F (1 − 0.9) = 0.25——表面 92.5% 的和谐，扣掉送分题后成色只有四分之一。一致率和 κ 讲的是两个不同的故事。\n\n**经验解读区间**（Landis & Koch 惯例，仅供粗判）：\n\n| κ 范围 | 解读 |\n|---|---|\n| \u003C 0.40 | 弱：规则和人的理解分歧大，不能上线 |\n| 0.40 – 0.60 | 中等：勉强，需修规则 |\n| 0.60 – 0.80 | 强：可接受，仍有分歧样本要人工看 |\n| > 0.80 | 极强：几乎无歧义 |\n\n**为什么准确率（一致率）会撒谎？** 极端例子：100 个样本里 95 个是「正常执行」、只有 5 个「静默失败」。两个标注者全都无脑标「正常执行」，一致率高达 95%——但他们在唯一重要的少数类上共识为零。类别越不均衡，p₀ 越虚高，pₑ 也随之抬高，κ 会把这个水分挤出来。我们的实验数据里静默失败恰恰是少数类，这正是必须报 κ 而不能只报一致率的原因。\n\n---\n\n## 🔴 高级：公式、混淆矩阵与实验落地\n\n### κ 的计算\n\n设混淆矩阵单元格 oᵢⱼ = 标注者 A 判 i、标注者 B 判 j 的样本数，N 为总数：\n\n- p₀ = Σᵢ oᵢᵢ \u002F N（对角线之和）\n- pₑ = Σᵢ (行 i 合计 \u002F N) × (列 i 合计 \u002F N)（边缘分布独立性假设下的期望一致）\n- **κ = (p₀ − pₑ) \u002F (1 − pₑ)**\n\n方差与置信区间常用 Scott 或 Fleiss 的多标注者推广（Fleiss' κ 适用于 k ≥ 2 个标注者、无需配对指定），报告时给 κ ± 95% CI；小样本下建议用 bootstrap 置信区间。\n\n### 已知缺陷\n\n1. **高一致率、低 κ 悖论（kappa paradox）**：当类别极度不均衡时，pₑ 被边缘分布推得很高，即使 p₀ = 0.95，κ 也可能只有 0.4–0.5。这不代表标注差，而是 κ 对分布敏感。**应对**：同时报告 p₀、pₑ、混淆矩阵全文和各类别的每对一致率，不让 κ 孤军奋战。\n2. **κ 依赖边缘分布**：同一套标注行为，在不同类别比例下算出的 κ 不同，跨数据集比较要谨慎。\n3. **多分类下 κ 掩盖结构性分歧**：总体 κ 达标可能掩盖某一类别上的系统性分歧——按类别拆开看。\n\n### 替代与补充指标\n\n- **Gwet's AC1**：在边缘分布不均衡时比 κ 稳健，恰是 kappa paradox 的解药；建议 κ 与 AC1 并报，两者差距大即触发检查。\n- **Fleiss' κ**：标注者 ≥ 3 人时的推广。\n- **逐类别一致率 + Krippendorff's α**：α 对样本量与小类别更宽容，可作为审稿人质疑时的稳健性佐证。\n\n### 在我们实验中的落地（对应方法论笔记 §4）\n\n1. **双通道独立标注**：10% 样本走「规则标注器 + 人工盲标」双通道。人工标注者看不到规则脚本的输出，只拿到预注册的判定规则伪代码（冻结版本哈希入 manifest），保证独立性。\n2. **预注册判定规则先行**：κ 门槛要有效，前提是两人遵循同一套规则。规则必须先于任何模型跑数被冻结；κ \u003C 0.7 时暂停批跑、修规则——但修前先检查分歧样本是否系统性偏向 H1 方向，是则记入局限，防止借修规则之名把标注掰向假设。\n3. **对抗性盲标**：混入少量真值已知的翻转样本，检验标注者是否真在看证据——这一项廉价，建议做。\n4. **报告模板**：κ ± 95% CI、Gwet's AC1、p₀、pₑ、混淆矩阵、分歧样本逐条归类。任何一项缺失，κ ≥ 0.7 的结论都不完整。\n\n---\n\n## 结语：一致率说「多经常同意」，κ 说「同意是否超出运气」\n\n三档难度其实是同一个故事的三个分辨率：入门篇告诉你**为什么**一致率会骗人（题目越简单、类别越偏，碰巧一致的水分越大）；中级篇给出**怎么挤水**（κ = 扣掉 pₑ 后的真默契占比）；高级篇承认 κ 自己也有软肋（kappa paradox、边缘分布依赖、多分类掩盖分歧），所以要配 AC1、混淆矩阵和逐类别拆解一起上场。\n\n一句话带走：**一致率衡量「多经常同意」，κ 衡量「同意是否超出了瞎猜的水平」**。类别越不均衡，两者差距越大，只报前者就越是在虚报共识。在我们的静默失败研究里，这个差距不是理论担忧——少数类恰恰是全部意义所在。\n\n---\n*教程由子会话生成；博客同步由父会话负责。*\n","从两位老师批改作业的比喻到 kappa paradox 与替代指标——理解为什么类别不平衡时准确率会说谎，以及标注一致性如何为 NLP\u002Fagent 实验的质量兜底。",null,"AI教程","statistics, inter-annotator-agreement, cohens-kappa, methodology",true,"2026-09-05T15:19:57.000Z","2026-09-18T11:48:27.000Z",1794201862340]