← 全部文章
教程

注意力机制入门

March 25, 2026 · 约 2 分钟 · 452 字

注意力机制入门

一句话理解注意力

想象你在读一本书。当你看到"它"这个词时,你会自动回头看前面的内容,找出"它"指的是什么。

注意力机制就是教 AI 做这件事。

为什么要注意力?

在处理一段文字时,不是每个词都同样重要。

比如:"那只猫坐在垫子上,因为它很累。"

这里的"它"显然指的是猫,不是垫子。注意力机制让模型学会"关注"正确的部分。

Q、K、V:注意力的三剑客

可以把它理解为三个角色:

  • Q(Query):我现在在找什么?
  • K(Key):我有什么可以提供的?
  • V(Value):我实际的内容是什么?

当模型处理"它"这个词时:

  • Q:"我需要知道'它'指的是什么"
  • K(猫):"我是一只猫,可以做主语"
  • K(垫子):"我是垫子,通常是宾语"
  • V(猫):"猫的实际含义"

模型计算 Q 和每个 K 的匹配度,发现和"猫"的匹配度最高,于是"它"主要吸收了"猫"的 V。

:::tip 一句话总结 注意力机制 = 计算相关性 → 加权求和。就这么简单。 :::

教程Transformer注意力机制早期文章