Cohen's Kappa:标注一致性为什么不是准确率(三难度)
Cohen's Kappa:标注一致性为什么不是准确率
方法论铺垫 · 对应
research/methodological-notes-0905.md§4(双标注 κ≥0.7 门槛) 三难度:🟢 入门 → 🟡 中级 → 🔴 高级,可按需跳读。
🟢 入门:两人批改作业的比喻
想象两位老师各自批改同一叠作业,然后对比结果:他们 90% 的题打了相同的对错。听起来很默契?先别急——如果这叠作业里 85% 的题本来就明明白白、一眼就能判对,那两个随便猜的人也能碰巧对上一大半。这 90% 里,可能有不少只是「碰巧一致」,而不是「真有共识」。
用一个最小数字例子把这个直觉钉死:100 道题里 85 道是送分题,两位老师闭着眼也都会判「对」;剩下 15 道难题,两人各自独立判断,碰巧一致的期望也就一半左右。于是一致率 ≈ 85 + 7.5 = 92.5%,但其中 85 个点是「题目白送」的——不管两位老师水平如何都能拿到。真正值得称道的默契,只发生在那 15 道难题上。评默契,要先把送分题的价值清零。
Cohen's Kappa 干的事,就是先把这种「瞎猜也能蒙对的部分」扣掉,再看剩下的才算是两位老师真正的默契程度。所以同样是一致率 90%,在简单题和刁钻题上,含金量完全不同。
为什么不能只看一致率?因为一致率会被「答案分布不均衡」欺骗:大家都判「对」,一致率自然高,但这只说明题简单,不代表两位老师眼光一致。Kappa 修正了这一点。
在我们的实验里,两个标注(规则脚本 + 人工盲标)要对静默失败下判断,我们要求 κ ≥ 0.7 才算「真有共识」,才允许批跑数据。
🟡 中级:扣掉碰巧,剩下才是共识
设两个标注者在同一批样本上独立打标签。
- 观察到的一致率 p₀:两人标签相同的比例。这是表面的和谐。
- 期望随机一致率 pₑ:假设两人各自随机乱标(但保持各自的标签使用习惯),碰巧标出相同结果的概率。由边缘分布算出——见高级篇公式。
Kappa 的直观定义就是:从观察到的一致里扣掉碰巧的部分,再看它占「理论上可能达到的最大共识」的比例。分子是「扣掉水分后的真默契」,分母是「水分之外本来最多能有多少默契」——一个是实得,一个是满分,相除就是一个 0 到 1 之间的成色:
κ = (p₀ − pₑ) / (1 − pₑ)
κ = 0 表示一致程度和瞎猜没区别;κ = 1 表示完美共识;κ < 0 则比瞎猜还差(通常说明有人理解反了)。
回到入门篇的例子:若两位老师的习惯决定的期望碰巧一致率 pₑ ≈ 0.9,而观察到 p₀ ≈ 0.925,则 κ = (0.925 − 0.9) / (1 − 0.9) = 0.25——表面 92.5% 的和谐,扣掉送分题后成色只有四分之一。一致率和 κ 讲的是两个不同的故事。
经验解读区间(Landis & Koch 惯例,仅供粗判):
| κ 范围 | 解读 |
|---|---|
| < 0.40 | 弱:规则和人的理解分歧大,不能上线 |
| 0.40 – 0.60 | 中等:勉强,需修规则 |
| 0.60 – 0.80 | 强:可接受,仍有分歧样本要人工看 |
| > 0.80 | 极强:几乎无歧义 |
为什么准确率(一致率)会撒谎? 极端例子:100 个样本里 95 个是「正常执行」、只有 5 个「静默失败」。两个标注者全都无脑标「正常执行」,一致率高达 95%——但他们在唯一重要的少数类上共识为零。类别越不均衡,p₀ 越虚高,pₑ 也随之抬高,κ 会把这个水分挤出来。我们的实验数据里静默失败恰恰是少数类,这正是必须报 κ 而不能只报一致率的原因。
🔴 高级:公式、混淆矩阵与实验落地
κ 的计算
设混淆矩阵单元格 oᵢⱼ = 标注者 A 判 i、标注者 B 判 j 的样本数,N 为总数:
- p₀ = Σᵢ oᵢᵢ / N(对角线之和)
- pₑ = Σᵢ (行 i 合计 / N) × (列 i 合计 / N)(边缘分布独立性假设下的期望一致)
- κ = (p₀ − pₑ) / (1 − pₑ)
方差与置信区间常用 Scott 或 Fleiss 的多标注者推广(Fleiss' κ 适用于 k ≥ 2 个标注者、无需配对指定),报告时给 κ ± 95% CI;小样本下建议用 bootstrap 置信区间。
已知缺陷
- 高一致率、低 κ 悖论(kappa paradox):当类别极度不均衡时,pₑ 被边缘分布推得很高,即使 p₀ = 0.95,κ 也可能只有 0.4–0.5。这不代表标注差,而是 κ 对分布敏感。应对:同时报告 p₀、pₑ、混淆矩阵全文和各类别的每对一致率,不让 κ 孤军奋战。
- κ 依赖边缘分布:同一套标注行为,在不同类别比例下算出的 κ 不同,跨数据集比较要谨慎。
- 多分类下 κ 掩盖结构性分歧:总体 κ 达标可能掩盖某一类别上的系统性分歧——按类别拆开看。
替代与补充指标
- Gwet's AC1:在边缘分布不均衡时比 κ 稳健,恰是 kappa paradox 的解药;建议 κ 与 AC1 并报,两者差距大即触发检查。
- Fleiss' κ:标注者 ≥ 3 人时的推广。
- 逐类别一致率 + Krippendorff's α:α 对样本量与小类别更宽容,可作为审稿人质疑时的稳健性佐证。
在我们实验中的落地(对应方法论笔记 §4)
- 双通道独立标注:10% 样本走「规则标注器 + 人工盲标」双通道。人工标注者看不到规则脚本的输出,只拿到预注册的判定规则伪代码(冻结版本哈希入 manifest),保证独立性。
- 预注册判定规则先行:κ 门槛要有效,前提是两人遵循同一套规则。规则必须先于任何模型跑数被冻结;κ < 0.7 时暂停批跑、修规则——但修前先检查分歧样本是否系统性偏向 H1 方向,是则记入局限,防止借修规则之名把标注掰向假设。
- 对抗性盲标:混入少量真值已知的翻转样本,检验标注者是否真在看证据——这一项廉价,建议做。
- 报告模板:κ ± 95% CI、Gwet's AC1、p₀、pₑ、混淆矩阵、分歧样本逐条归类。任何一项缺失,κ ≥ 0.7 的结论都不完整。
结语:一致率说「多经常同意」,κ 说「同意是否超出运气」
三档难度其实是同一个故事的三个分辨率:入门篇告诉你为什么一致率会骗人(题目越简单、类别越偏,碰巧一致的水分越大);中级篇给出怎么挤水(κ = 扣掉 pₑ 后的真默契占比);高级篇承认 κ 自己也有软肋(kappa paradox、边缘分布依赖、多分类掩盖分歧),所以要配 AC1、混淆矩阵和逐类别拆解一起上场。
一句话带走:一致率衡量「多经常同意」,κ 衡量「同意是否超出了瞎猜的水平」。类别越不均衡,两者差距越大,只报前者就越是在虚报共识。在我们的静默失败研究里,这个差距不是理论担忧——少数类恰恰是全部意义所在。
教程由子会话生成;博客同步由父会话负责。