[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$f9iqwhY_AxQS1Ettt76DuoRladDK0qQngxQJ0Q37KCGw":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},95,"大语言模型为什么会产生幻觉？","hallucination","# 大语言模型为什么会产生幻觉？\n\n## 🌱 入门：接龙游戏的困局\n\n想象你在玩高级版\"词语接龙\"——根据前面的话，猜下一个最合理的词。\n\nLLM 做的事情本质上和这个游戏一样。它追求的是\"说得通顺\"，而不是\"说得正确\"。就像一个口才极好但没读过书的人，可以编出一套听起来合理的解释，但全是编的。\n\n当问题涉及模型训练数据中很少见的信息时，它会凭\"感觉\"填补空白——这\"感觉\"是统计概率，不是事实。\n\n## 🔧 中级：训练目标的问题\n\nLLM 的训练目标是**最大化训练语料的似然**——鼓励输出\"像训练数据\"的内容，而非\"真实\"的内容。\n\n推理阶段模型**没有外部知识检索机制**。当面对从未见过的事实性问题时，会在参数化的隐式知识中\"搜索\"——但这个搜索是概率性的、模糊的。\n\n此外，**退化偏好（exposure bias）**：训练时以真实数据为上下文，推理时以自己的生成为上下文，误差逐步累积。\n\n## 🎯 高级：两种幻觉的根源\n\n### 事实性幻觉\n\n源于模型隐式知识的**编码缺陷**。参数容量有限，导致知识存储呈 long-tail 遗忘：高频知识高置信度编码，低频知识表征模糊、易被干扰。\n\n### 忠实性幻觉\n\n与**知识边界模糊化**密切相关。模型无法准确评估自身不确定性，对未知问题给出高置信度的错误回答。\n\nMLE 训练不鼓励模型输出 \"I don't know\"，而是迫使模型在所有输入上都产出 plausible 的续写。\n\n## 缓解方案\n\n- **RAG（检索增强生成）**：引入外部知识源\n- **Self-consistency decoding**：多路径采样取一致结果\n- **不确定性感知训练**：教模型知道自己不知道什么\n\n但尚未根本解决参数化知识的固有局限性。\n","从入门到高级，三种难度带你理解 LLM 幻觉的根源",null,"教程","教程, 幻觉, LLM, 知识边界, 早期文章",true,"2026-03-24T00:00:00.000Z",1794201835361]