Jev 置信度
将概率转化为执行、复核或升级处理的门槛。
Choice 和 Score 的答案包含概率分布,以及一个从 0 到 1 的置信度统计值;Noul 则没有。Confidence 根据该分布的形态得出:概率集中于一个结果代表答案可信,分布越分散则越不确定。TypeSafe 会计算置信度,方便你直接设置阈值;如果需要其他统计指标,也始终可以取得完整概率。代码应依据这些数值决定执行、复核或升级处理。
Confidence 根据概率得出
对于 Choice,分布表示各选项的概率;对于 Score,则表示各等级的概率。分布越平坦,置信度越低。Choice 的置信度较低,通常意味着没有明显胜出的选项。Score 的置信度较低,则常表示等级含义模糊、涉及多个维度,或 state 提供的信息不足。
TypeSafe 将置信度作为便捷的默认指标,而非强制采用的唯一指标。根据决策类型,以其他方式汇总分布可能更合适。文档将这些方案放在单独的实用手册中,同时仍会随每个 Choice 和 Score 答案提供概率,避免你受限于单一公式。
Noul 答案只包含 [0, 1] 范围内的 noul,没有额外的 confidence 字段可复制到 Noul 上。接近 0.5 表示模型无法确定这个是非问题。不要把 0.5 理解为“中等退款意愿”,也不要将 Choice 的置信度阈值套用到 noul;对于两个独立问题,也不要期待 P(noul) + P(not noul) 等于 1。
代码中的三条处理路径
实用的起始方案是划分三个区间。高置信度:自动执行。中等置信度:谨慎继续——向用户确认、标记待复核,或收集更多 state。低置信度:不要执行,应转交人工、询问澄清问题,或回退到其他系统。具体分界线取决于风险高低。
不能用一个置信度阈值覆盖整个产品。意图判断错误后显示余额页面尚可挽回,错误批准提款则不行。TypeSafe 的示例以 0.5 作为真正不确定性的下限;转账只有在 >0.9 时才会确认并执行,而查询余额意图可采用更低门槛。风险容忍度由你的代码决定,Jev 只负责报告分布。
如果一个智能系统无法如实表达不确定性,就不值得信任。对 Choice 和 Score 而言,Confidence 就是这种信号。使用时还要结合 jaggedness 的限制:按字面措辞判断、用代码处理数学问题、不执行生成任务。即使 Choice 对一条写得很差的指令给出高置信度,也只是很有把握地回答了错误的问题。
同一工单上的 Noul 与 Choice
TypeSafe 的 jaggedness 常识不变量记录中有一张工单:“我对合身程度不满意。现在有哪些处理方式?”Noul“客户是否在要求退款?”返回 0.22。对相同措辞执行是/否 Choice,返回的概率为是 0.01 / 否 0.99,置信度为 0.97。可对照的数值是 noul 和 probabilities["yes"],两者不能互换。
在第二条工单中,退款与不退款的两个 Noul 相加为 1.19。不要要求模型在不同问题间遵守算术恒等式。选项上的 Choice 是相对判断(哪个选项),每个 Noul 则是绝对判断,所有选项的值都可能很低。技能建议实用手册同时使用两者:以 Choice 选择技能,再用 Noul 判断是否应提出任何技能建议。
接入门槛逻辑时,请在阈值表中注明所用基元。除非明确写成 department 的 0.8 Choice 置信度,或 urgency 的 0.8 Noul,否则“0.8”毫无意义。记录基元、键、原始概率及版本化模型 ID jev-1.13.0,避免以后别名变更时悄然改变生产门槛。
门槛的实际运维
应保存完整概率,而不只是 argmax 和置信度标量。Choice 看似出错时,第二名选项往往是调试线索。Score 看似卡在两个等级之间时,分布可揭示是等级说明含糊,还是 state 为空。
每次模型 ID 变更后都要重新调校。jev-latest 可能变动;jev-1.13.0 上的 0.9 阈值并不保证适用于下一次正式发布。切换生产别名前,先用影子日志记录新 ID 在一周内原本会做出的判断。
高风险操作应同时满足标签和最低置信度要求,再由产品层确认。TypeSafe 的转账示例将 0.5 作为不确定性下限,达到 0.9 才会执行。可以沿用这种结构,但不必照搬数值。退款政策和游戏封禁政策不会共用同一阈值。请在运行手册中把数值写在基元名称旁。
不要对值班人员隐藏概率。只显示绿色/红色置信度的控制台,无法揭示 yes 与 no 已经对调而置信度仍然很高。分布才是核心数据,标量只是 TypeSafe 在其上计算出的便捷指标。
Noul 接近 0.5,是对是非问题诚实表达“我不知道”。它没有可附加的 confidence 字段。如需第二个维度,请提出第二个问题,或添加一个 Choice,为 yes/no/not-sure 设置明确条件;同时应接受它与 noul 属于不同统计量。
每周按问题键绘制置信度。缓慢漂移至 0.5,意味着条件已不再匹配工单;嘈杂队列中突然升至 1.0,则表示选项发生塌缩,而不是现实变简单了。
在每个阈值旁记录 jev-1.13.0,避免别名变更隐藏在每周图表中。
来源