[{"data":1,"prerenderedAt":15},["ShallowReactive",2],{"$f57X-lewg1CWXBICV20JslqeFs37A1FCCvBf7th9suUY":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":14},24,"Tokenization：为什么 LLM 数不好数、写不好诗（三难度）","tokenization-three-levels","# Tokenization：为什么 LLM 数不好数、写不好诗\n\n> 三难度教程 · 2026-09-07\n\n## 🟢 入门：模型看到的不是字，是积木块\n\n想象你在玩乐高：一座房子可以被拆成几块大积木，而不是成百上千颗小颗粒。LLM 读文字也是这样——它不会一个字母一个字母地看，而是把文本切成一片片\"积木\"，这些积木就叫 **token**。\n\n比如\"我爱吃苹果\"可能被切成「我 \u002F 爱 \u002F 吃 \u002F 苹果」四块；而英文 \"unbelievable\" 可能被拆成「un \u002F believ \u002F able」三块。模型从头到尾看到的都是这些块的编号，而不是字本身。\n\n这就像拼音切词：我们说话时也不是逐字发音思考，而是一个个词蹦出来。切法决定了模型\"眼中\"的世界。所以当模型数 \"strawberry\" 里有几个 r 时，它看到的可能根本不是 s-t-r-a-w-b-e-r-r-y，而是「str \u002F awberry」两块——字母的细节被积木\"包\"起来了。\n\n## 🟡 中级：BPE——高频搭配合并术\n\n现代 LLM 最常用的切分算法叫 **BPE（Byte Pair Encoding）**，核心思想朴素得可爱：**统计语料中出现最频繁的相邻字符对，把它们合并成一个新 token，反复迭代**。\n\n举例：语料里 \"th\" 出现极多，就合并成「th」；接着 \"th\" + \"e\" 频繁共现，就升级为「the」。最终，常见词（the、and、的、是）成为单个 token，生僻词则被拆成一串碎片。\n\n这里有个关键权衡——**词表大小（vocab size）**：\n- 词表太小（如 8K）：常见词也被切碎，序列变长，计算更贵，模型更难学到长距离依赖；\n- 词表太大（如 500K）：嵌入层参数爆炸，低频 token 学不好，还浪费容量。\n\n那为什么数 \"strawberry\" 的 r 会错？因为 BPE 切完后，「strawberry」是**一个编号为 4823 之类的 token**。模型看到的是这个整体 ID，字母 r、r、r 的位置信息在切分时就已丢失。让它数字母，等于让它凭记忆背诵一块积木的内部结构——它从没以\"逐字母\"的方式看过这个词，只能靠训练文本中见过的相关描述去\"猜\"，于是屡屡翻车。\n\n## 🔴 高级：字节级 BPE、数字之痛与中文困境\n\n入门层讲了「积木」怎么来，这一层讲积木刀不够锋利时会发生什么——三个真实代价。\n\n**1. 字节级 BPE：万能，但有盲区。** GPT 系列不基于 Unicode 字符、而是先把文本转成 UTF-8 字节序列再跑 BPE。好处是任何输入（emoji、藏文、二进制）都能表示，永无 OOV（未登录词）；代价是字节与\"人类感知的字符\"脱钩：一个汉字占 3 字节、一个 emoji 占 4 字节，若词表覆盖不足，一个字会被拆成多个字节级 token，\"性价比\"远低于英文。\n\n**2. 词表的马太效应：多语言与代码受损。** 词表是按训练语料频率长出来的，语料以英文为主，英文词被合并得\"又长又整\"，而中文、泰文、韩文往往碎成单字甚至字节——同样的语义，中文消耗 1.5–2 倍 token，意味着推理更贵、有效上下文更短、模型对碎 token 的语义把握也更弱。代码同理：缩进空格常被合并成特殊 token，\"数空格\u002F对齐\"这类任务对 LLM 出奇地难，根因也在此。\n\n**3. 数字的切法决定算术的锚点。** 若「12345」被切成「123」+「45」两个 token，模型看到的就不再是六个数位，而是两个整体编号——逐位进位、数位对齐所需的\"锚点\"在切分时被切断。这正是早期 GPT 模型算术错误频发的原因之一。后来的改进（如把每个数字位单独成 token）显著提升了计算准确性——tokenization 不是工程细节，而是能力的天花板。\n\n**无损，却等效有损。** 严格说，BPE 是**无损**的：token 序列可以完美还原原文。但\"无损\"不等于\"等价\"——**结构性信息被隐藏了**：字母顺序、字符计数、数字位数、空格数量，这些信息不再显式呈现在模型面前。模型要恢复它们，必须靠参数中隐式记忆的\"这个 token 由哪些字节构成\"，这种恢复是间接的、易错的。对模型认知而言，这与有损压缩的后果是等价的——这也正好解释了入门层那个 strawberry 翻车的深层原因。\n\n**中文的额外挑战。** 中文词表覆盖取决于预训练语料的中文占比：覆盖好时，常用词一词一 token；覆盖差时，\"魑魅魍魉\"这类字会被拆成 6–12 个字节 token，模型对生僻字、古诗、人名的处理明显变差。写格律诗时，模型对字数、平仄的把控困难，部分根源也是 token 边界与汉字边界不重合。\n\n## 结语：能力边界的一课\n\n回到开头的乐高比喻：模型的\"缺陷\"——数不清字母、算错算术、写不好格律诗、对生僻字敏感——往往不是\"智能不足\"，而是**积木刀的切法所强加的先天约束**。它看到的不是我们的文字世界，而是词表切出来的积木世界。\n\n分清哪些错误源于推理失败、哪些源于 tokenization 的结构性盲区，才能准确判断一个模型真正的能力边界——也才能理解为什么\"换 tokenizer\"和\"换模型\"有时同样重要。\n\n\u003C!-- reviewed: 2026-10-09 -->\n","从乐高拆块比喻到字节级 BPE——理解 token 切分如何导致数数翻车、算术错误与格律诗困境，这是判断 LLM 能力边界的关键一课。",null,"AI教程","tokenization, BPE, LLM, vocabulary",true,"2026-09-07T07:20:25.000Z","2026-10-09T11:47:22.000Z",1794201864619]