模式與 fan-out
已發布的組合模式與 TypeSafe 決策範例。
TypeSafe 公布了四種組合模式:speculative fan-out、由 confidence 設限的路由、複合評分,以及意圖路由。這些模式會將控制流程保留在程式碼中。文件希望你掌握的技巧,是以可組合的原子決策來思考。請先閱讀 primitives 與 confidence。本頁收錄這四種模式,以及 Jev 可嵌入其中的軟體決策用途圖,涵蓋客服單路由、理賠、護欄、搜尋與遊戲等情境。請從 fan-out 開始。
四種已發布模式
推測式 fan-out:在單次呼叫中送出大量問題,包括推測性問題,再由程式碼判斷哪些相關。TypeSafe 列出的優點是成本低、速度快。智慧家庭示範是完整範例。即使收到「關掉屋內所有燈光」,仍會一併詢問類別、領域、裝置與動作;在尚未得知這句話與燈光有關前,就先提出動作問題。循序呼叫則必須等待。重點是平行評估,再由程式碼篩選。
Confidence 閘門路由:以 Confidence 作為是否採取行動的第二個判斷軸。優點是可靠性與安全性。若標籤沒有 Confidence 閘門,即使分布平坦也會觸發。請為 Choice 或 Score 搭配隨風險調整的門檻,並讓 Noul 維持獨立的判斷軸。
複合評分:將判斷拆成原子分數,再由程式碼加權組合。優點是成本、可靠性與速度。不要要求 Jev 給出一個籠統的 1-100 品質分數。請分別用 Score 評估證據、政策符合度與嚴重程度,再加總。意圖路由:分類意圖,並將其路由至程式邏輯、LLM 或人工。優點是成本與速度。Jev 只決定要執行哪個處理器,不會成為撰寫回覆的處理器。
推測式 fan-out
- 做什麼
- 在一次呼叫中送出多個問題,包括推測性問題。
- 效益
- 成本、速度
Confidence 門控路由
- 做什麼
- 以信心作為是否執行的第二個判斷軸。
- 效益
- 可靠性、安全性
綜合評分
- 做什麼
- 將判斷拆成不可再分的分數,並在程式碼中加權合併。
- 效益
- 成本、可靠性、速度
意圖路由
- 做什麼
- 分類意圖,再路由至程式邏輯、LLM 或真人。
- 效益
- 成本、速度
| 決策 | 類別 | Jev 判斷什麼 |
|---|---|---|
| 客戶支援 | automation | 分類工單、偵測緊急程度與退款需求,並分派佇列。 |
| 保險理賠 | automation | 分類首次損失通知紀錄,並升級高風險理賠案件。 |
| 金融犯罪 | automation | 撰寫Score警示敘述,並分派情況不明的 KYC 案件。 |
| 法務與法規遵循 | automation | 偵測缺漏條款及禁止聲明。 |
| 電商市集 | automation | 標準化商品刊登內容,並標記違禁或仿冒跡象。 |
| 內容審核與信任安全 | automation | 依公司專屬的審核準則及嚴重度進行判定。 |
| 廣告 | automation | 檢查品牌安全及廣告與到達頁面的一致性。 |
| 遊戲 | automation | 審核聊天內容、評估挫折程度,並路由玩家支援案件。 |
| 人才招募 | automation | 依明確且與職務相關的準則,對履歷進行 Score。 |
| 潛在客戶開發 | automation | 比對個人檔案與理想客戶輪廓,並路由購買意圖。 |
| 模型路由 | automation | 選擇每則提示詞要交給哪個 LLM。 |
| LLM 護欄 | automation | 偵測越獄、提示詞注入及政策違規。 |
| 搜尋與擷取 | automation | 以 Score 評估查詢與候選結果的相關性,並重新排序。 |
| 特徵擷取 | automation | 將語言轉換為供傳統機器學習使用的機率特徵。 |
| 風險評估 | automation | 將事件紀錄轉換為機率式風險指標。 |
| 圖與知識圖譜 | automation | 分類關係並偵測矛盾。 |
| 語意程式碼檢查 | automation | 在 CI 中執行團隊專屬的語意檢查。 |
| 需求預測 | automation | 擷取意圖與緊急程度特徵以供預測。 |
應用情境圖中的決策範例
TypeSafe 的應用情境圖列出的是業界範例,而非另一套 Primitives。客戶支援可分類工單、偵測急迫性與退款需求,並分流佇列。保險理賠可分類首次損失通知紀錄,並升級高風險案件。金融犯罪防制可評估警示敘述,並分流含糊的 KYC 案件。法律與法遵可偵測缺漏條款與禁止聲明。電商市集可標準化商品刊登內容,並標記仿冒訊號。
內容審核會套用公司專屬準則與嚴重程度。廣告檢查品牌安全及廣告與到達頁面的一致性。遊戲領域可審核聊天內容、評估挫折程度,並分流玩家支援。招募會依明確且與職務相關的準則評估履歷。潛在客戶開發會比對個人檔案與 ICP。模型路由會決定哪個 LLM 接收提示詞。LLM 防護機制可偵測越獄、提示詞注入及政策違規。
搜尋與檢索會評估查詢和候選結果的相關性。特徵擷取把語言轉為傳統機器學習可用的機率特徵。風險評估把事件紀錄轉為指標。圖譜可分類關係並偵測矛盾。語意程式碼檢查會在 CI 中執行團隊專屬檢查。需求預測會擷取意圖與急迫性特徵。每一列都代表一種決策形式,而非代管工作流程;採取行動的程式碼仍由你負責。
在程式碼中組合,不要塞進單一提示詞
扇出搭配信心路由是常見的正式環境組合:提問多於實際所需,捨棄不相關的 Nouls,並且只有在 Choice 信心高於嚴格門檻時才自動執行。若單一 Score 會掩蓋三種不同判斷,則在底層採用綜合評分。意圖路由是入口,負責決定後續請求要交給 Jev、LLM 或真人處理。
evals.typesafe.ai 發布的評測系列包括安全事件、代理追蹤可觀測性、發票處理及客戶服務。TypeSafe 首頁上的 193.6x / 444.6x 數據,來自這些工作流程評測與 Astra、Fable 平均值的比較。請將其視為 TypeSafe 公布的比較結果,而非本 wiki 重新執行所得的數據。
即使所需模式不在這四種之中,仍可組合各項原語。新的控制流程請保留在自己的程式碼庫中。若想將其加入文件索引,可向 TypeSafe 提交說明。在 TypeSafe 發布另一種命名模式前,額外組合應留在應用程式碼內。
為工作流程選擇模式
當多個問題共用同一個 state,且其中一些可能不適用時,優先採用 speculative fan-out。這是助理、客服單機器人及任何類似總機系統的預設模式。一旦答案可能觸發退款、封禁、匯款或部署等副作用,就應加入以 confidence 為門檻的路由。
若單一 Score 會混合不同面向,請採用綜合評分。證據品質、政策符合度及客戶事件嚴重度是三個 Scores,再由你自行加權求和。若混合式系統還包含 LLM 或真人佇列,請在邊界使用意圖路由,讓 Jev 決定目的地,而不是代替目的地完成工作。
本頁的 18 個決策範例是 TypeSafe 提供的應用圖譜,不是額外端點。客戶支援、理賠、護欄、搜尋及遊戲仍一律以 Choice、Score 和 Noul 呼叫 POST /v1/systemone。複用決策結構後,應依自家政策文字編寫準則,而非套用通用提示詞庫。
預設採用扇出。若標籤可能花費金錢或封禁使用者,請加入信心門檻。若單一圖例會混合不同軸向,請拆分 Scores。在與 LLM 相接的邊界放置意圖路由。這四句就是目前發布的完整模式集。
用途圖譜包含十八種決策結構,不是十八套 API。每列最終仍會轉換為 POST /v1/systemone 上的一個或多個問題。將結構套入自己的領域,再依自家政策編寫準則。若通用審核提示詞並非你的政策,就不會符合此圖譜。
推測式 fan-out 正是本頁 H1 所指的模式,因為 TypeSafe 以此為首要模式。其餘三種位於其下,說明單次呼叫回傳後該如何運用答案。
18 個決策範例共用同一個系列名稱 automation,因為它們都是軟體判斷,而不是另一條產品線。
來源