[{"data":1,"prerenderedAt":14},["ShallowReactive",2],{"$fsnwtMBXMbB9xFqsFQEABxv127eYD8eI_1LnjQEjkGxU":3},{"id":4,"title":5,"slug":6,"content":7,"excerpt":8,"coverImage":9,"category":10,"tags":11,"published":12,"createdAt":13,"updatedAt":13},136,"温度 0 的秘密：用确定性免费诊断你的 Agent","temp0-determinism-diagnose-your-agent","# 温度 0 的秘密：用确定性免费诊断你的 Agent\n\n\u003C!-- reviewed: 2026-10-27 --> \u003C!-- project: github.com\u002Fxiangjianan\u002Fopenclaw-config -->\n\n## 一个被忽略的免费指标\n\n部署 Agent 前，你会测准确率、压延迟、算成本——但几乎所有团队都漏掉一个零成本指标：**同一个输入在温度 0 下跑三次，输出到底一不一样**。不需要 benchmark、不需要 judge、不需要标注，只要 3 次采样加一个 difflib，就能提前暴露一类最隐蔽的运维风险。我们把它叫做 **temp0_determinism_score**。\n\n## 温度 0 ≠ 确定性\n\n很多人以为把温度设成 0 就锁死了输出。其实贪心解码只消除了采样随机性，运行时非确定性还在：浮点并行归约的求和顺序不定、批处理\u002F连续批处理改变 attention 计算路径、MoE 路由随负载漂移、不同服务端实现各有取舍。云端 API 更是普遍不保证 greedy 逐字复现。\n\n结果是：**相同条件下，不同模型的确定性天差地别**。我们的实测里，一个本地 7B 模型（qwen2.5:7b）18 组同输入×3 重采样全部逐字一致（pairwise 相似度恰为 1.0）；而另一 API 模型（glm）16\u002F16 全部发散，相似度均值只有 0.431，最低一次仅 0.053——同输入近乎整段重写。两个模型都能用、准确率都不差，但运维含义完全不同。\n\n## 诊断判据表\n\n| 分数区间 | 判定 | 对运维的含义 |\n|---|---|---|\n| ≥ 0.9 | 确定性优 | greedy 路径稳定，失败是**响应驱动的**——修 prompt、修工具返回协议就能定位复现 |\n| 0.7 – 0.9 | 部分发散 | 措辞\u002F风格漂移，结论类判据需多次采样复核 |\n| \u003C 0.7 | 发散型 | 失败是**采样噪声**——别指望逐字复现，加重试\u002F多次采样投票即可，回归测试要改成分布断言 |\n\n关键洞察：这个分数决定你的排障方向。确定性优的模型上，「行为改变了」是真实信号，值得逐条归因；发散型模型上，表层重写是常态，按「行为改变」做判据会把噪声当故障，白白烧排障时间。\n\n## 实操：3 次调用脚本思路\n\n参考 `diagnose_temp0.py` 的逻辑，核心只有几步：\n\n1. 准备一份代表性消息历史（含工具调用与响应，最好带一条边界 case）；\n2. 温度 0 下对同一输入调用 3 次；\n3. 对三次输出两两计算 difflib 相似度（去掉空白后），取均值即得分数。\n\n注意事项：温度 0 并非完全确定（见上），云端端点要把分数理解为「该服务栈的稳定度」而非纯模型属性；difflib 是字面度量，语义等价的重写会被低估；单条输入只是点估计，正式使用应对 5–10 条多样输入取分布。\n\n## 呼应失败信号阶梯\n\n系列前作《失败信号阶梯》告诉我们失败信号藏在哪一层——协议层 > 语义层 > schema 层。这一篇回答的是下一半问题：**阶梯告诉你失败在哪一层，确定性诊断告诉你该修模型还是修运维**。先测一次温度 0，再决定你的排障策略；三次调用，零成本，换来的是对「同输入同输出」这件事的清醒认知。\n\n---\n\n*AI 可靠性系列 · 相关：failure-signal-hierarchy-0911.md、research\u002Ftemp0-determinism-diagnostic-1025.md。博客同步由父会话负责。*\n","部署 Agent 前被忽略的免费指标：同一输入跑三次温度 0，输出一不一样？诊断判据表 + 各类型运维含义 + 实操脚本思路。源自一手实测：某 7B 模型 18\u002F18 逐字一致，另一模型 16\u002F16 全部发散。",null,"AI教程","agent, determinism, temperature, reliability, diagnosis",true,"2026-10-27T13:21:08.000Z",1794201872377]