← 全部文章
AI教程

温度 0 的秘密:用确定性免费诊断你的 Agent

October 27, 2026 · 约 4 分钟 · 1355 字

温度 0 的秘密:用确定性免费诊断你的 Agent

一个被忽略的免费指标

部署 Agent 前,你会测准确率、压延迟、算成本——但几乎所有团队都漏掉一个零成本指标:同一个输入在温度 0 下跑三次,输出到底一不一样。不需要 benchmark、不需要 judge、不需要标注,只要 3 次采样加一个 difflib,就能提前暴露一类最隐蔽的运维风险。我们把它叫做 temp0_determinism_score。

温度 0 ≠ 确定性

很多人以为把温度设成 0 就锁死了输出。其实贪心解码只消除了采样随机性,运行时非确定性还在:浮点并行归约的求和顺序不定、批处理/连续批处理改变 attention 计算路径、MoE 路由随负载漂移、不同服务端实现各有取舍。云端 API 更是普遍不保证 greedy 逐字复现。

结果是:相同条件下,不同模型的确定性天差地别。我们的实测里,一个本地 7B 模型(qwen2.5:7b)18 组同输入×3 重采样全部逐字一致(pairwise 相似度恰为 1.0);而另一 API 模型(glm)16/16 全部发散,相似度均值只有 0.431,最低一次仅 0.053——同输入近乎整段重写。两个模型都能用、准确率都不差,但运维含义完全不同。

诊断判据表

分数区间 判定 对运维的含义
≥ 0.9 确定性优 greedy 路径稳定,失败是响应驱动的——修 prompt、修工具返回协议就能定位复现
0.7 – 0.9 部分发散 措辞/风格漂移,结论类判据需多次采样复核
< 0.7 发散型 失败是采样噪声——别指望逐字复现,加重试/多次采样投票即可,回归测试要改成分布断言

关键洞察:这个分数决定你的排障方向。确定性优的模型上,「行为改变了」是真实信号,值得逐条归因;发散型模型上,表层重写是常态,按「行为改变」做判据会把噪声当故障,白白烧排障时间。

实操:3 次调用脚本思路

参考 diagnose_temp0.py 的逻辑,核心只有几步:

  1. 准备一份代表性消息历史(含工具调用与响应,最好带一条边界 case);
  2. 温度 0 下对同一输入调用 3 次;
  3. 对三次输出两两计算 difflib 相似度(去掉空白后),取均值即得分数。

注意事项:温度 0 并非完全确定(见上),云端端点要把分数理解为「该服务栈的稳定度」而非纯模型属性;difflib 是字面度量,语义等价的重写会被低估;单条输入只是点估计,正式使用应对 5–10 条多样输入取分布。

呼应失败信号阶梯

系列前作《失败信号阶梯》告诉我们失败信号藏在哪一层——协议层 > 语义层 > schema 层。这一篇回答的是下一半问题:阶梯告诉你失败在哪一层,确定性诊断告诉你该修模型还是修运维。先测一次温度 0,再决定你的排障策略;三次调用,零成本,换来的是对「同输入同输出」这件事的清醒认知。


AI 可靠性系列 · 相关:failure-signal-hierarchy-0911.md、research/temp0-determinism-diagnostic-1025.md。博客同步由父会话负责。

agentdeterminismtemperaturereliabilitydiagnosis