← 全部文章
AI教程

Tokenization:为什么 LLM 数不好数、写不好诗(三难度)

September 7, 2026 · 约 6 分钟 · 2055 字

Tokenization:为什么 LLM 数不好数、写不好诗

三难度教程 · 2026-09-07

🟢 入门:模型看到的不是字,是积木块

想象你在玩乐高:一座房子可以被拆成几块大积木,而不是成百上千颗小颗粒。LLM 读文字也是这样——它不会一个字母一个字母地看,而是把文本切成一片片"积木",这些积木就叫 token。

比如"我爱吃苹果"可能被切成「我 / 爱 / 吃 / 苹果」四块;而英文 "unbelievable" 可能被拆成「un / believ / able」三块。模型从头到尾看到的都是这些块的编号,而不是字本身。

这就像拼音切词:我们说话时也不是逐字发音思考,而是一个个词蹦出来。切法决定了模型"眼中"的世界。所以当模型数 "strawberry" 里有几个 r 时,它看到的可能根本不是 s-t-r-a-w-b-e-r-r-y,而是「str / awberry」两块——字母的细节被积木"包"起来了。

🟡 中级:BPE——高频搭配合并术

现代 LLM 最常用的切分算法叫 BPE(Byte Pair Encoding),核心思想朴素得可爱:统计语料中出现最频繁的相邻字符对,把它们合并成一个新 token,反复迭代。

举例:语料里 "th" 出现极多,就合并成「th」;接着 "th" + "e" 频繁共现,就升级为「the」。最终,常见词(the、and、的、是)成为单个 token,生僻词则被拆成一串碎片。

这里有个关键权衡——词表大小(vocab size):

  • 词表太小(如 8K):常见词也被切碎,序列变长,计算更贵,模型更难学到长距离依赖;
  • 词表太大(如 500K):嵌入层参数爆炸,低频 token 学不好,还浪费容量。

那为什么数 "strawberry" 的 r 会错?因为 BPE 切完后,「strawberry」是一个编号为 4823 之类的 token。模型看到的是这个整体 ID,字母 r、r、r 的位置信息在切分时就已丢失。让它数字母,等于让它凭记忆背诵一块积木的内部结构——它从没以"逐字母"的方式看过这个词,只能靠训练文本中见过的相关描述去"猜",于是屡屡翻车。

🔴 高级:字节级 BPE、数字之痛与中文困境

入门层讲了「积木」怎么来,这一层讲积木刀不够锋利时会发生什么——三个真实代价。

1. 字节级 BPE:万能,但有盲区。 GPT 系列不基于 Unicode 字符、而是先把文本转成 UTF-8 字节序列再跑 BPE。好处是任何输入(emoji、藏文、二进制)都能表示,永无 OOV(未登录词);代价是字节与"人类感知的字符"脱钩:一个汉字占 3 字节、一个 emoji 占 4 字节,若词表覆盖不足,一个字会被拆成多个字节级 token,"性价比"远低于英文。

2. 词表的马太效应:多语言与代码受损。 词表是按训练语料频率长出来的,语料以英文为主,英文词被合并得"又长又整",而中文、泰文、韩文往往碎成单字甚至字节——同样的语义,中文消耗 1.5–2 倍 token,意味着推理更贵、有效上下文更短、模型对碎 token 的语义把握也更弱。代码同理:缩进空格常被合并成特殊 token,"数空格/对齐"这类任务对 LLM 出奇地难,根因也在此。

3. 数字的切法决定算术的锚点。 若「12345」被切成「123」+「45」两个 token,模型看到的就不再是六个数位,而是两个整体编号——逐位进位、数位对齐所需的"锚点"在切分时被切断。这正是早期 GPT 模型算术错误频发的原因之一。后来的改进(如把每个数字位单独成 token)显著提升了计算准确性——tokenization 不是工程细节,而是能力的天花板。

无损,却等效有损。 严格说,BPE 是无损的:token 序列可以完美还原原文。但"无损"不等于"等价"——结构性信息被隐藏了:字母顺序、字符计数、数字位数、空格数量,这些信息不再显式呈现在模型面前。模型要恢复它们,必须靠参数中隐式记忆的"这个 token 由哪些字节构成",这种恢复是间接的、易错的。对模型认知而言,这与有损压缩的后果是等价的——这也正好解释了入门层那个 strawberry 翻车的深层原因。

中文的额外挑战。 中文词表覆盖取决于预训练语料的中文占比:覆盖好时,常用词一词一 token;覆盖差时,"魑魅魍魉"这类字会被拆成 6–12 个字节 token,模型对生僻字、古诗、人名的处理明显变差。写格律诗时,模型对字数、平仄的把控困难,部分根源也是 token 边界与汉字边界不重合。

结语:能力边界的一课

回到开头的乐高比喻:模型的"缺陷"——数不清字母、算错算术、写不好格律诗、对生僻字敏感——往往不是"智能不足",而是积木刀的切法所强加的先天约束。它看到的不是我们的文字世界,而是词表切出来的积木世界。

分清哪些错误源于推理失败、哪些源于 tokenization 的结构性盲区,才能准确判断一个模型真正的能力边界——也才能理解为什么"换 tokenizer"和"换模型"有时同样重要。

tokenizationBPELLMvocabulary