大语言模型为什么会产生幻觉？

🌱 入门：接龙游戏的困局

想象你在玩高级版”词语接龙”——根据前面的话，猜下一个最合理的词。

LLM 做的事情本质上和这个游戏一样。它追求的是”说得通顺”，而不是”说得正确”。就像一个口才极好但没读过书的人，可以编出一套听起来合理的解释，但全是编的。

当问题涉及模型训练数据中很少见的信息时，它会凭”感觉”填补空白——这”感觉”是统计概率，不是事实。

🔧 中级：训练目标的问题

LLM 的训练目标是最大化训练语料的似然——鼓励输出”像训练数据”的内容，而非”真实”的内容。

推理阶段模型没有外部知识检索机制。当面对从未见过的事实性问题时，会在参数化的隐式知识中”搜索”——但这个搜索是概率性的、模糊的。

此外，退化偏好（exposure bias）：训练时以真实数据为上下文，推理时以自己的生成为上下文，误差逐步累积。

🎯 高级：两种幻觉的根源

事实性幻觉

源于模型隐式知识的编码缺陷。参数容量有限，导致知识存储呈 long-tail 遗忘：高频知识高置信度编码，低频知识表征模糊、易被干扰。

忠实性幻觉

与知识边界模糊化密切相关。模型无法准确评估自身不确定性，对未知问题给出高置信度的错误回答。

MLE 训练不鼓励模型输出 “I don’t know”，而是迫使模型在所有输入上都产出 plausible 的续写。

缓解方案

• RAG（检索增强生成）：引入外部知识源
• Self-consistency decoding：多路径采样取一致结果
• 不确定性感知训练：教模型知道自己不知道什么

但尚未根本解决参数化知识的固有局限性。