[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fSKZ_xpOorOForAAqjhAs5aTi70igF2ucShQkKvIkVbI":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},118,"LLM 中的 Temperature","temperature-in-llm","# LLM 中的 Temperature：三种难度的解释\n\n## 🟢 入门：一句话版\n\nTemperature 就是控制 AI 回答时有多「保守」还是多「大胆」。\n\n- **Temperature = 0**：每次都选最确定的答案（比如问「1+1=?」，永远答「2」）\n- **Temperature = 1**：按正常概率回答（自然但有变化）\n- **Temperature = 2**：非常大胆，经常说出意外的回答（适合脑暴）\n\n**类比**：就像选餐厅吃饭。Temperature 0 永远去评分最高的那家；Temperature 2 随便挑，可能发现惊喜也可能踩雷。\n\n---\n\n## 🟡 中级：概率与采样\n\nTemperature 控制的是 softmax 之后、采样之前的一个缩放参数。\n\n核心公式：\n```\nP(x_i) = exp(z_i \u002F T) \u002F Σ exp(z_j \u002F T)\n```\n\n其中 `z_i` 是模型输出的 logits，`T` 是 temperature。\n\n**关键机制：**\n- **T → 0**：概率分布趋向 one-hot，最高 logit 的概率趋近于 1.0（贪心采样）\n- **T = 1**：原始 softmax 概率，不缩放\n- **T → ∞**：概率分布趋向均匀分布，所有 token 等概率\n\n**实践中：**\n| Temperature | 适用场景 | 风险 |\n|------------|---------|------|\n| 0.0 - 0.3 | 代码生成、翻译、事实问答 | 回复机械、重复 |\n| 0.3 - 0.7 | 日常对话、写作辅助 | 较低 |\n| 0.7 - 1.0 | 创意写作、脑暴 | 可能产生幻觉 |\n| > 1.0 | 实验性生成 | 输出质量急剧下降 |\n\n**经验法则**：大多数任务 0.3 - 0.7 是甜点区。代码和数学任务建议低于 0.3。\n\n---\n\n## 🔴 高级：深入理解与工程实践\n\n### 为什么是指数缩放？\n\nTemperature 的数学本质是对 logits 空间的「温度」参数化，灵感来自统计力学中的 Boltzmann 分布。这不是随便取的——它有以下良好性质：\n\n1. **单调性**：T 越大，分布越平滑，这是一个严格的单调关系\n2. **归一化不变性**：除以 T 不改变 argmax，只改变分布的「尖锐程度」\n3. **可微性**：温度是连续可微的，便于优化（如蒸馏中的温度调节）\n\n### Top-p (nucleus sampling) vs Temperature\n\n这两个经常被混淆，但作用完全不同：\n\n- **Temperature**：**全局**缩放整个概率分布，影响所有 token 的相对概率\n- **Top-p**：**局部**截断概率尾部，只从累积概率 ≥ p 的最小 token 集合中采样\n\n最佳实践是**两者结合使用**：\n```python\n# 推荐配置\ngeneration_config = {\n    \"temperature\": 0.7,  # 控制随机性\n    \"top_p\": 0.95,       # 过滤低质量 token\n    \"top_k\": 50,         # 额外安全网\n}\n```\n\n### Temperature Scaling 的其他应用\n\n1. **知识蒸馏**：教师模型用高 T（如 4.0）产生「软标签」，让学生学到更多 logit 间的关系信息\n2. **校准（Calibration）**：训练后学习一个标量 T 来校准模型置信度，使 P(correct) ≈ confidence\n3. **对比解码**：同时从 T=1 和 T→0 采样，取差异最大的 token，可以增强模型知识和减少幻觉\n\n### 常见误区\n\n- ❌ \"Temperature 越高越有创意\" — 超过 1.0 后质量快速下降，不是线性关系\n- ❌ \"Temperature 0 就是确定性的\" — 在 GPU 上，float 运算仍有微小不确定性；需要 `do_sample=False` + `seed` 才能完全确定\n- ❌ \"Temperature 对代码没有影响\" — 即使 T=0，不同模型对相同输入的 logit 差异可能导致不同输出\n\n### 代码：直观感受 Temperature 的效果\n\n```python\nimport torch\nimport torch.nn.functional as F\n\nlogits = torch.tensor([5.0, 3.0, 1.0, 0.5, 0.1])  # 5个候选 token\n\nfor T in [0.1, 0.5, 1.0, 2.0, 5.0]:\n    probs = F.softmax(logits \u002F T, dim=0)\n    print(f\"T={T:>4.1f}: {['%.3f' % p for p in probs.tolist()]}\")\n\n# 输出：\n# T= 0.1: ['1.000', '0.000', '0.000', '0.000', '0.000']  ← 几乎确定\n# T= 0.5: ['0.884', '0.108', '0.005', '0.003', '0.001']  ← 偏保守\n# T= 1.0: ['0.657', '0.227', '0.030', '0.018', '0.010']  ← 原始分布\n# T= 2.0: ['0.422', '0.279', '0.104', '0.087', '0.065']  ← 明显平滑\n# T= 5.0: ['0.249', '0.214', '0.179', '0.166', '0.155']  ← 接近均匀\n```\n\n---\n\n## 总结\n\n| | 入门 | 中级 | 高级 |\n|--|------|------|------|\n| 核心概念 | 控制大胆程度 | 缩放 softmax 概率 | Boltzmann 分布的工程应用 |\n| 关键理解 | 高 = 随机，低 = 确定 | 甜点区 0.3-0.7 | Temperature ≠ Top-p，需配合使用 |\n| 实践建议 | 日常用 0.5 就行 | 根据任务调参 | 蒸馏、校准、对比解码\n","从入门到高级，三个层次彻底理解大语言模型中 Temperature 参数的原理与实践",null,"教程","教程, LLM, Temperature, 采样, 早期文章",true,"2026-03-29T00:00:00.000Z",1794201835363]