温度 0 的秘密:用确定性免费诊断你的 Agent
温度 0 的秘密:用确定性免费诊断你的 Agent
一个被忽略的免费指标
部署 Agent 前,你会测准确率、压延迟、算成本——但几乎所有团队都漏掉一个零成本指标:同一个输入在温度 0 下跑三次,输出到底一不一样。不需要 benchmark、不需要 judge、不需要标注,只要 3 次采样加一个 difflib,就能提前暴露一类最隐蔽的运维风险。我们把它叫做 temp0_determinism_score。
温度 0 ≠ 确定性
很多人以为把温度设成 0 就锁死了输出。其实贪心解码只消除了采样随机性,运行时非确定性还在:浮点并行归约的求和顺序不定、批处理/连续批处理改变 attention 计算路径、MoE 路由随负载漂移、不同服务端实现各有取舍。云端 API 更是普遍不保证 greedy 逐字复现。
结果是:相同条件下,不同模型的确定性天差地别。我们的实测里,一个本地 7B 模型(qwen2.5:7b)18 组同输入×3 重采样全部逐字一致(pairwise 相似度恰为 1.0);而另一 API 模型(glm)16/16 全部发散,相似度均值只有 0.431,最低一次仅 0.053——同输入近乎整段重写。两个模型都能用、准确率都不差,但运维含义完全不同。
诊断判据表
| 分数区间 | 判定 | 对运维的含义 |
|---|---|---|
| ≥ 0.9 | 确定性优 | greedy 路径稳定,失败是响应驱动的——修 prompt、修工具返回协议就能定位复现 |
| 0.7 – 0.9 | 部分发散 | 措辞/风格漂移,结论类判据需多次采样复核 |
| < 0.7 | 发散型 | 失败是采样噪声——别指望逐字复现,加重试/多次采样投票即可,回归测试要改成分布断言 |
关键洞察:这个分数决定你的排障方向。确定性优的模型上,「行为改变了」是真实信号,值得逐条归因;发散型模型上,表层重写是常态,按「行为改变」做判据会把噪声当故障,白白烧排障时间。
实操:3 次调用脚本思路
参考 diagnose_temp0.py 的逻辑,核心只有几步:
- 准备一份代表性消息历史(含工具调用与响应,最好带一条边界 case);
- 温度 0 下对同一输入调用 3 次;
- 对三次输出两两计算 difflib 相似度(去掉空白后),取均值即得分数。
注意事项:温度 0 并非完全确定(见上),云端端点要把分数理解为「该服务栈的稳定度」而非纯模型属性;difflib 是字面度量,语义等价的重写会被低估;单条输入只是点估计,正式使用应对 5–10 条多样输入取分布。
呼应失败信号阶梯
系列前作《失败信号阶梯》告诉我们失败信号藏在哪一层——协议层 > 语义层 > schema 层。这一篇回答的是下一半问题:阶梯告诉你失败在哪一层,确定性诊断告诉你该修模型还是修运维。先测一次温度 0,再决定你的排障策略;三次调用,零成本,换来的是对「同输入同输出」这件事的清醒认知。
AI 可靠性系列 · 相关:failure-signal-hierarchy-0911.md、research/temp0-determinism-diagnostic-1025.md。博客同步由父会话负责。