Jev 信心分數

將機率轉化為執行、審查或升級處理的門檻。

Choice 和 Score 的答案包含機率分布,以及介於 0 到 1 的信心統計值;Noul 則沒有。Confidence 由該分布的形狀推導而來:集中於單一結果代表答案較有把握,分散則代表不確定。TypeSafe 會計算 Confidence,讓你不必自行計算即可設定門檻;若想改用其他統計值,也一律會收到完整機率。程式碼應依這些數值決定執行、審查或升級處理。

Confidence 由機率推導而來

對 Choice 而言,分布是各選項的機率;對 Score 而言,則是各層級的分布。分布越平坦,信心越低。Choice 的信心偏低,通常代表沒有明顯勝出的選項;Score 的信心偏低,通常代表層級含糊、涉及多個維度,或 state 提供的資訊不足以判斷。

TypeSafe 將 Confidence 作為便利的預設值,而非強制綁定。依決策而定,可能更適合用其他方式將分布彙整為單一數值。文件將這些方法另收於操作指南中;每個 Choice 和 Score 答案仍會附上機率,讓你不受單一公式限制。

Noul 答案只會包含 [0, 1] 範圍內的 noul,不含其他統計值。沒有 Confidence 欄位可複製到 Noul。接近 0.5 代表模型認為是非題尚無定論,別把 0.5 解讀為「中等退款意願」。不要把 Choice 的 Confidence 門檻套用到 noul,也別期待兩個獨立問題中的 P(noul) + P(not noul) 會等於 1。

Confidence gates: act, review, or escalate using probabilities
依機率決定執行、審查或升級處理。Noul 沒有獨立的 Confidence 欄位。

程式碼中的三條路徑

實用的起始模式是分為三個區間。高信心:自動執行。中等信心:謹慎繼續,可向使用者確認、標記待審,或收集更多 state。低信心:不要執行,應轉交人員、提出釐清問題,或改用其他系統。界線如何劃定,取決於風險高低。

整個產品不能只用一個 Confidence 門檻。誤判意圖後顯示餘額畫面仍可挽回,核准提款則不然。TypeSafe 的範例先以 0.5 作為真正不確定的下限;轉帳則必須 >0.9 才會確認並執行,而查詢餘額意圖可用較低門檻。風險容忍度由你的程式碼編定,Jev 只負責回報分布。

如果智慧系統無法如實表達不確定性,就不值得信任。對 Choice 與 Score 而言,Confidence 正是這項訊號。請搭配 jaggedness 的限制使用:依字面措辭判讀、在程式碼中處理數學運算,而且不生成內容。即使 Choice 對一項寫得不好的指示給出高信心,仍只是信心十足地回答了錯誤的問題。

同一張案件中的 Noul 與 Choice 比較

TypeSafe 針對常識不變條件的 jaggedness 紀錄中,有一張內容為「我對合身程度不滿意。這種情況有哪些選擇?」的客服單。Noul「顧客是否要求退款?」回傳 0.22。使用相同措辭的二元 Choice 則回傳機率:是 0.01/否 0.99,confidence 為 0.97。可比較的數值是 noul 與 probabilities["yes"],兩者不能互換。

在第二張案件中,退款與不退款的兩個 Noul 相加為 1.19。不要要求模型讓各個獨立問題符合算術恆等式。選項型 Choice 是相對判斷(選哪個選項);每個 Noul 則是絕對判斷,而且所有選項的值都可能偏低。技能建議操作指南會兩者並用:以 Choice 挑選技能,再以 Nouls 判斷是否應提出任何建議。

接上判定門檻時,請在門檻表中註明所用的 Primitives。只寫「0.8」毫無意義,必須說明是 department 的 0.8 Choice Confidence,還是 urgency 的 0.8 Noul。記錄 Primitives、鍵、原始機率,以及版本化模型 ID jev-1.13.0,以免別名日後變更時,正式環境的判定門檻也在不知情下被重新調整。

判定門檻的運作

請儲存完整機率,不要只保留 argmax 和 Confidence 純量。Choice 看似有誤時,第二名選項往往是除錯線索。Score 看似卡在兩個層級之間時,分布可顯示是分級說明含糊,還是 state 內容空白。

每次變更模型 ID 後都要重新調校。jev-latest 可能會變動;jev-1.13.0 上的 0.9 門檻,並不保證適用於下一個正式版本。切換正式環境別名前,先用影子記錄觀察新 ID 一週內會做出哪些判斷。

高風險操作應同時要求標籤及最低 Confidence,再由產品層確認。TypeSafe 的轉帳範例以 0.5 作為不確定下限,並要求達到 0.9 才執行。請仿照其架構,不必照抄數值。退款政策與遊戲封禁政策不會共用同一門檻。請在操作手冊中,將數值寫在 Primitives 名稱旁。

不要向值班人員隱藏機率。只顯示綠色/紅色 Confidence 的儀表板,無法讓你看出 yes 與 no 已互換但 Confidence 仍然很高。分布才是核心資料;純量只是 TypeSafe 額外計算的便利指標。

Noul 接近 0.5,是模型對是非題誠實表示「我不知道」。它沒有可附加的 Confidence 欄位。若需要第二個維度,請再問一題,或針對 yes/no/not-sure 加入含明確 criteria 的 Choice;同時也要接受它是不同於 noul 的統計值。

每週按問題鍵繪製 Confidence 圖表。緩慢往 0.5 漂移,表示 criteria 已不再符合案件內容;嘈雜的佇列若突然往 1.0 飆升,表示選項已坍縮,而非世界變簡單了。

在每個門檻旁記錄 jev-1.13.0,別讓別名變更藏在每週圖表中。

來源