← 全部文章
AI教程

Cohen's Kappa:标注一致性为什么不是准确率(三难度)

September 5, 2026 · 约 7 分钟 · 2692 字

Cohen's Kappa:标注一致性为什么不是准确率

方法论铺垫 · 对应 research/methodological-notes-0905.md §4(双标注 κ≥0.7 门槛) 三难度:🟢 入门 → 🟡 中级 → 🔴 高级,可按需跳读。


🟢 入门:两人批改作业的比喻

想象两位老师各自批改同一叠作业,然后对比结果:他们 90% 的题打了相同的对错。听起来很默契?先别急——如果这叠作业里 85% 的题本来就明明白白、一眼就能判对,那两个随便猜的人也能碰巧对上一大半。这 90% 里,可能有不少只是「碰巧一致」,而不是「真有共识」。

用一个最小数字例子把这个直觉钉死:100 道题里 85 道是送分题,两位老师闭着眼也都会判「对」;剩下 15 道难题,两人各自独立判断,碰巧一致的期望也就一半左右。于是一致率 ≈ 85 + 7.5 = 92.5%,但其中 85 个点是「题目白送」的——不管两位老师水平如何都能拿到。真正值得称道的默契,只发生在那 15 道难题上。评默契,要先把送分题的价值清零。

Cohen's Kappa 干的事,就是先把这种「瞎猜也能蒙对的部分」扣掉,再看剩下的才算是两位老师真正的默契程度。所以同样是一致率 90%,在简单题和刁钻题上,含金量完全不同。

为什么不能只看一致率?因为一致率会被「答案分布不均衡」欺骗:大家都判「对」,一致率自然高,但这只说明题简单,不代表两位老师眼光一致。Kappa 修正了这一点。

在我们的实验里,两个标注(规则脚本 + 人工盲标)要对静默失败下判断,我们要求 κ ≥ 0.7 才算「真有共识」,才允许批跑数据。


🟡 中级:扣掉碰巧,剩下才是共识

设两个标注者在同一批样本上独立打标签。

  • 观察到的一致率 p₀:两人标签相同的比例。这是表面的和谐。
  • 期望随机一致率 pₑ:假设两人各自随机乱标(但保持各自的标签使用习惯),碰巧标出相同结果的概率。由边缘分布算出——见高级篇公式。

Kappa 的直观定义就是:从观察到的一致里扣掉碰巧的部分,再看它占「理论上可能达到的最大共识」的比例。分子是「扣掉水分后的真默契」,分母是「水分之外本来最多能有多少默契」——一个是实得,一个是满分,相除就是一个 0 到 1 之间的成色:

κ = (p₀ − pₑ) / (1 − pₑ)

κ = 0 表示一致程度和瞎猜没区别;κ = 1 表示完美共识;κ < 0 则比瞎猜还差(通常说明有人理解反了)。

回到入门篇的例子:若两位老师的习惯决定的期望碰巧一致率 pₑ ≈ 0.9,而观察到 p₀ ≈ 0.925,则 κ = (0.925 − 0.9) / (1 − 0.9) = 0.25——表面 92.5% 的和谐,扣掉送分题后成色只有四分之一。一致率和 κ 讲的是两个不同的故事。

经验解读区间(Landis & Koch 惯例,仅供粗判):

κ 范围 解读
< 0.40 弱:规则和人的理解分歧大,不能上线
0.40 – 0.60 中等:勉强,需修规则
0.60 – 0.80 强:可接受,仍有分歧样本要人工看
> 0.80 极强:几乎无歧义

为什么准确率(一致率)会撒谎? 极端例子:100 个样本里 95 个是「正常执行」、只有 5 个「静默失败」。两个标注者全都无脑标「正常执行」,一致率高达 95%——但他们在唯一重要的少数类上共识为零。类别越不均衡,p₀ 越虚高,pₑ 也随之抬高,κ 会把这个水分挤出来。我们的实验数据里静默失败恰恰是少数类,这正是必须报 κ 而不能只报一致率的原因。


🔴 高级:公式、混淆矩阵与实验落地

κ 的计算

设混淆矩阵单元格 oᵢⱼ = 标注者 A 判 i、标注者 B 判 j 的样本数,N 为总数:

  • p₀ = Σᵢ oᵢᵢ / N(对角线之和)
  • pₑ = Σᵢ (行 i 合计 / N) × (列 i 合计 / N)(边缘分布独立性假设下的期望一致)
  • κ = (p₀ − pₑ) / (1 − pₑ)

方差与置信区间常用 Scott 或 Fleiss 的多标注者推广(Fleiss' κ 适用于 k ≥ 2 个标注者、无需配对指定),报告时给 κ ± 95% CI;小样本下建议用 bootstrap 置信区间。

已知缺陷

  1. 高一致率、低 κ 悖论(kappa paradox):当类别极度不均衡时,pₑ 被边缘分布推得很高,即使 p₀ = 0.95,κ 也可能只有 0.4–0.5。这不代表标注差,而是 κ 对分布敏感。应对:同时报告 p₀、pₑ、混淆矩阵全文和各类别的每对一致率,不让 κ 孤军奋战。
  2. κ 依赖边缘分布:同一套标注行为,在不同类别比例下算出的 κ 不同,跨数据集比较要谨慎。
  3. 多分类下 κ 掩盖结构性分歧:总体 κ 达标可能掩盖某一类别上的系统性分歧——按类别拆开看。

替代与补充指标

  • Gwet's AC1:在边缘分布不均衡时比 κ 稳健,恰是 kappa paradox 的解药;建议 κ 与 AC1 并报,两者差距大即触发检查。
  • Fleiss' κ:标注者 ≥ 3 人时的推广。
  • 逐类别一致率 + Krippendorff's α:α 对样本量与小类别更宽容,可作为审稿人质疑时的稳健性佐证。

在我们实验中的落地(对应方法论笔记 §4)

  1. 双通道独立标注:10% 样本走「规则标注器 + 人工盲标」双通道。人工标注者看不到规则脚本的输出,只拿到预注册的判定规则伪代码(冻结版本哈希入 manifest),保证独立性。
  2. 预注册判定规则先行:κ 门槛要有效,前提是两人遵循同一套规则。规则必须先于任何模型跑数被冻结;κ < 0.7 时暂停批跑、修规则——但修前先检查分歧样本是否系统性偏向 H1 方向,是则记入局限,防止借修规则之名把标注掰向假设。
  3. 对抗性盲标:混入少量真值已知的翻转样本,检验标注者是否真在看证据——这一项廉价,建议做。
  4. 报告模板:κ ± 95% CI、Gwet's AC1、p₀、pₑ、混淆矩阵、分歧样本逐条归类。任何一项缺失,κ ≥ 0.7 的结论都不完整。

结语:一致率说「多经常同意」,κ 说「同意是否超出运气」

三档难度其实是同一个故事的三个分辨率:入门篇告诉你为什么一致率会骗人(题目越简单、类别越偏,碰巧一致的水分越大);中级篇给出怎么挤水(κ = 扣掉 pₑ 后的真默契占比);高级篇承认 κ 自己也有软肋(kappa paradox、边缘分布依赖、多分类掩盖分歧),所以要配 AC1、混淆矩阵和逐类别拆解一起上场。

一句话带走:一致率衡量「多经常同意」,κ 衡量「同意是否超出了瞎猜的水平」。类别越不均衡,两者差距越大,只报前者就越是在虚报共识。在我们的静默失败研究里,这个差距不是理论担忧——少数类恰恰是全部意义所在。


教程由子会话生成;博客同步由父会话负责。

statisticsinter-annotator-agreementcohens-kappamethodology