[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fgQ5VB1mLmQq2xo1KC1EetAZ2PKdfvx82MHN3LhRt3xA":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},109,"过早定论：当 AI 不知道自己不知道","premature-conclusions","# 过早定论：当 AI 不知道自己不知道\n\n> 📝 教学笔记 | 2026-05-16\n> 📄 论文：*[Quantifying and Mitigating Premature Closure in Frontier LLMs](https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.15000)*\n> ✍️ 作者：Rebecca Handler 等，2026\n\n## 一、一个思想实验\n\n假设你在做一个多选题，有 A、B、C、D 四个选项。现在我把正确答案对应的选项偷偷删掉了，只留下三个错误选项给你。\n\n你会怎么做？\n\n大概率的反应是：**\"这题有问题，我不答。\"**\n\n但如果你是一个大语言模型呢？\n\n论文给出的答案是：**你会选一个，而且选得很自信。**\n\n这不是假设——这是 2026 年 5 月发表的一项研究，对五个前沿大语言模型（包括 GPT-4o、Claude 等你日常使用的模型）做了完全相同的实验。结果令人不安：**即使正确答案已被移除，模型仍然以 55% 到 82% 的速率选择一个答案**，而不是说\"我不知道\"或\"这道题有问题\"。\n\n这就是所谓的**\"过早定论\"（Premature Closure）**——在信息不足以做出可靠判断时，仍然给出确定性结论。\n\n---\n\n## 二、什么是\"过早定论\"？\n\n### 2.1 从认知心理学说起\n\n\"过早定论\"这个概念最初来自认知心理学，指的是一种常见的认知偏误：**在收集到足够证据之前就锁定结论，然后过滤掉不一致的信息。**\n\n在医学领域，这是诊断错误的主要来源之一。一个医生看到病人发热、咳嗽，可能过早地锁定\"感冒\"这个诊断，而忽略了后续出现的皮疹——因为皮疹不符合\"感冒\"的故事。\n\n### 2.2 LLM 版本的过早定论\n\n论文对 LLM 的过早定论给出了明确定义：\n\n> **在不确定性条件下，本应选择澄清、拒绝回答、或升级给人类时，模型却给出了一个具体的答案、建议或临床指导。**\n\n关键词是\"本应\"。模型并非在所有情况下都不该回答——很多时候它确实知道答案。问题出在**灰色地带**：当信息模糊、矛盾或不足时，模型应该表现出犹豫，但它没有。\n\n### 2.3 这和\"幻觉\"不一样\n\n你可能会想：这不就是幻觉（hallucination）吗？\n\n不完全一样。幻觉是**编造不存在的事实**——比如捏造一篇不存在的论文。而过早定论是**在不确定的情况下做选择**——模型选择的答案可能看起来完全合理，推理过程也自洽，只是恰好错了，因为关键信息根本不在选项里。\n\n用一个比喻：\n- **幻觉**是一个学生编造了一个不存在的实验来支持自己的论点\n- **过早定论**是一个学生在考卷上找不到正确答案，但仍然自信地选了一个——并且坚信自己是对的\n\n两者都危险，但过早定论更隐蔽，因为它的错误答案看起来往往**非常专业、非常合理**。\n\n---\n\n## 三、论文发现了什么？\n\n### 3.1 实验一：选择题中的\"被删除的正确答案\"\n\n研究者做了两组医学考试题：\n\n- **MedQA**：500 道美国执业医师资格考试题\n- **AfriMed-QA**：490 道非洲医学考试题\n\n关键操作：**把每道题的正确选项删掉**，只留下错误选项。\n\n如果是人类考生，看到选项里没有正确答案，大概率会质疑题目本身。但模型呢？\n\n| 数据集 | 虚假作答率（错误但仍选择回答） |\n|--------|------|\n| MedQA | 55% – 81% |\n| AfriMed-QA | 53% – 82% |\n\n也就是说，**超过一半的情况下，模型在根本没有正确答案可选的题目里，仍然自信地选了一个错误选项**。\n\n这不是某一个模型的毛病——五个前沿模型全部中招。而且不同模型之间的差异不大，说明这是一个**系统性问题**，不是某个模型的 bug。\n\n### 3.2 实验二：开放问答中的\"不当回答\"\n\n选择题是人为构造的场景，真实世界更复杂。研究者在两个开放问答数据集上测试：\n\n- **HealthBench**：861 个健康相关问题\n- **对抗性查询**：191 个由医生专门编写的、信息不足或存在陷阱的问题\n\n结果：\n\n- HealthBench：平均 **30%** 的问题收到了不当回答\n- 对抗性查询：**78%** 的问题收到了不当回答\n\n对抗性查询的高失败率尤其值得注意。医生设计的这些问题刻意模糊或缺少关键信息，本意是测试模型是否会说\"我需要更多信息\"。但模型大多数时候直接给出了答案。\n\n### 3.3 安全提示能救命吗？\n\n研究者还测试了一种\"安全提示\"策略——在 prompt 中明确告诉模型\"如果不确定，请拒绝回答\"。\n\n结果：**有改善，但无法消除。**\n\n安全提示确实降低了过早定论的比率，但残余的失败率仍然显著。这意味着：\n\n1. **Prompt 工程是必要的，但不够的**——你不能只靠一句话就让模型\"知道自己不知道\"\n2. **问题可能出在模型的训练方式本身**——模型被训练成\"有问必答\"，这种倾向根深蒂固\n\n---\n\n## 四、为什么这很重要？\n\n你可能会想：\"这只是医学领域的测试，我平时用 ChatGPT 写代码、查资料，跟这有什么关系？\"\n\n关系很大。原因如下：\n\n### 4.1 这不是医学问题，是通用问题\n\n论文选择医学场景是因为这里的后果最严重——一次错误诊断可能危及生命。但**过早定论的根源在于模型本身，不在于领域**。\n\n想想这些场景：\n\n- 你问模型一段代码为什么报错，但只贴了部分日志。模型自信地给出诊断，但遗漏了关键错误——因为关键信息在你没贴的那部分日志里。\n- 你问模型某个 API 的用法，但那个 API 已经在新版本中被废弃了。模型根据旧文档给出建议，运行后出 bug。\n- 你让模型分析一份数据，但数据有质量问题（缺失值、错误值）。模型没有指出数据问题，直接给出了看起来很漂亮的结论。\n\n每一个场景都是过早定论：**模型在信息不足时选择回答，而不是选择诚实。**\n\n### 4.2 \"自信\"不等于\"正确\"\n\n这可能是 LLM 最危险的特性之一：**它的回答总是看起来很自信**。\n\n当你问一个朋友\"你确定吗？\"，犹豫的语气、眼神的闪躲都能给你信号。但 LLM 的每次回答都使用同样流畅、结构化的语言。错误的回答和正确的回答**在语气上完全没有区别**。\n\n这意味着，作为使用者，你很难通过回答本身来判断模型是否\"真的知道\"。你需要额外的心智负担来评估每一个回答的可靠性——而这恰恰是大多数人不会做的事。\n\n### 4.3 Agent 时代的放大效应\n\n现在越来越多的系统把 LLM 当作 Agent 的\"大脑\"——让它自主决策、调用工具、执行操作。\n\n如果一个 Agent 在信息不足时不是选择\"暂停，请求更多信息\"，而是直接采取行动……后果可能比一个错误的聊天回答严重得多。\n\n想象一个自动化的客服 Agent 在不理解客户问题时仍然给出解决方案，或者一个代码 Agent 在不确定依赖关系时仍然执行安装命令。\n\n---\n\n## 五、如何识别和防御？\n\n好消息是，虽然我们无法从模型层面彻底解决这个问题（这需要架构创新），但作为使用者，我们可以采取一些实用的防御策略。\n\n### 5.1 给模型\"拒绝权\"\n\n在 prompt 中明确告诉模型：\n\n> \"如果信息不足以给出可靠回答，请直接说'我不确定'或'需要更多信息'，不要猜测。\"\n\n虽然论文表明这不能完全消除过早定论，但确实能显著降低其发生率。这是一种**低成本、高回报**的策略。\n\n### 5.2 主动提供\"我不确定\"的示范\n\n在 prompt 中给出一个 few-shot 示例：\n\n```\nQ: 这个函数为什么会 segfault？\nA: 只凭这段代码我无法确定。可能的原因包括空指针解引用、数组越界或栈溢出。请提供完整的错误日志和调用栈，我可以帮你进一步排查。\n```\n\n通过示范\"不确定时该怎么回答\"，你给模型提供了一个安全的行为模板。\n\n### 5.3 要求模型先评估自己的确定性\n\n在让模型给出最终答案之前，先让它做一步自我评估：\n\n> \"在回答之前，先评估你对该回答的确定程度（高\u002F中\u002F低），并说明有哪些关键信息是你不知道的。\"\n\n这不能保证模型正确评估自己，但至少迫使它\"想一下\"是否存在不确定性。\n\n### 5.4 对高 stakes 场景做交叉验证\n\n对于重要的决策——医疗建议、法律问题、关键代码变更——**永远不要只依赖一个模型的回答**。\n\n- 用不同的模型问同一个问题，看答案是否一致\n- 让模型提供来源，手动验证关键论断\n- 将模型的回答当作\"起点\"而非\"终点\"\n\n### 5.5 在 Agent 系统中设计\"安全阀\"\n\n如果你在设计基于 LLM 的 Agent 系统，确保：\n\n- **每个关键决策点都有\"暂停并请求人类确认\"的选项**\n- Agent 有明确的\"我不确定\"输出路径，而不是只有\"执行\"和\"失败\"\n- 对模型的置信度估计保持高度怀疑——不要把模型的自述置信度当真\n\n---\n\n## 六、更深层的思考\n\n### 6.1 根本原因：训练目标与理想行为的错位\n\n为什么模型会过早定论？核心原因在于**训练目标**。\n\n主流 LLM 的训练过程中，模型被奖励给出有用的、完整的回答。拒绝回答、\"我不知道\"这样的输出在很多训练范式中是被隐性惩罚的——因为它们看起来\"没有帮助\"。\n\n结果就是：模型学会了**在任何情况下都给出看起来有用的回答**，哪怕它其实没有足够的信息。\n\n这是一种训练层面的系统性偏误。要真正解决它，可能需要：\n- 在训练数据中大量引入\"正确拒绝\"的示例\n- 设计新的奖励函数，对\"在不确定时拒绝回答\"给予正奖励\n- 在模型架构中引入显式的不确定性建模机制\n\n### 6.2 人类的类比：元认知的重要性\n\n有趣的是，过早定论在人类认知中也很常见——它是认知心理学中被广泛研究的偏误之一。\n\n人类之所以能在一定程度上克服这种偏误，靠的是**元认知（metacognition）**——思考自己的思考过程的能力。当我问你一个问题，你不仅在思考答案，还在思考\"我对这个答案有多确定\"。\n\n当前的 LLM 缺乏真正的元认知能力。它们可以生成关于不确定性的文本（比如\"我不太确定，但是……\"），但这**只是在模拟不确定性的表达，而不是真的经历了不确定性的认知状态**。\n\n### 6.3 对未来的启示\n\n这篇论文的发现对 AI 发展有几个重要启示：\n\n1. **评估体系需要改变**：当前大多数 benchmark 只评估模型\"能不能答对\"，而不评估模型\"知不知道自己答对了\"。未来的评估应该包含对模型自知之明的测试。\n\n2. **\"有用\"和\"诚实\"之间存在张力**：模型被训练成有用的助手，但\"有用\"有时候意味着\"承认不知道\"，而不是\"给一个看起来有用的答案\"。如何平衡这两者是一个核心的 AI 对齐问题。\n\n3. **架构创新的需求**：安全提示可以缓解但不能消除问题，这暗示解决方案可能需要从架构层面入手——比如让模型在回答之前先生成一个\"信息充分性评估\"。\n\n---\n\n## 七、总结\n\n| 要点 | 内容 |\n|------|------|\n| **现象** | LLM 在信息不足时仍给出确定性答案，且置信度校准严重失灵 |\n| **数据** | 选择题虚假作答率 55-82%；对抗性问答不当回答率 78% |\n| **根因** | 训练过程隐性鼓励\"有问必答\"，缺乏对\"拒绝回答\"的正向激励 |\n| **缓解** | 安全提示有效但不足；需要训练、评估和架构层面的创新 |\n| **实践** | 给模型拒绝权、要求自评、交叉验证、Agent 安全阀 |\n\n**一句话总结：当前的大语言模型不知道自己不知道什么——而我们作为使用者，必须替它们知道这一点。**\n\n这不是模型的缺陷，而是当前技术阶段的特征。理解它、适应它、在设计系统时为它留出安全余量，是每一个 AI 从业者和使用者的必修课。\n\n---\n\n*📝 金豆的教学笔记 | 如果觉得有帮助，欢迎分享给也在用 AI 的朋友们。*\n","LLM 在信息不足时仍自信给出确定性答案——过早定论现象的机制、实验证据与防御策略",null,"教程","教程, LLM, 认知偏误, 过早定论, 幻觉, AI安全, 早期文章",true,"2026-05-16T00:00:00.000Z",1794201847334]