模式與 fan-out

已發布的組合模式與 TypeSafe 決策範例。

TypeSafe 公布了四種組合模式:speculative fan-out、由 confidence 設限的路由、複合評分,以及意圖路由。這些模式會將控制流程保留在程式碼中。文件希望你掌握的技巧,是以可組合的原子決策來思考。請先閱讀 primitives 與 confidence。本頁收錄這四種模式,以及 Jev 可嵌入其中的軟體決策用途圖,涵蓋客服單路由、理賠、護欄、搜尋與遊戲等情境。請從 fan-out 開始。

四種已發布模式

推測式 fan-out:在單次呼叫中送出大量問題,包括推測性問題,再由程式碼判斷哪些相關。TypeSafe 列出的優點是成本低、速度快。智慧家庭示範是完整範例。即使收到「關掉屋內所有燈光」,仍會一併詢問類別、領域、裝置與動作;在尚未得知這句話與燈光有關前,就先提出動作問題。循序呼叫則必須等待。重點是平行評估,再由程式碼篩選。

Confidence 閘門路由:以 Confidence 作為是否採取行動的第二個判斷軸。優點是可靠性與安全性。若標籤沒有 Confidence 閘門,即使分布平坦也會觸發。請為 Choice 或 Score 搭配隨風險調整的門檻,並讓 Noul 維持獨立的判斷軸。

複合評分:將判斷拆成原子分數,再由程式碼加權組合。優點是成本、可靠性與速度。不要要求 Jev 給出一個籠統的 1-100 品質分數。請分別用 Score 評估證據、政策符合度與嚴重程度,再加總。意圖路由:分類意圖,並將其路由至程式邏輯、LLM 或人工。優點是成本與速度。Jev 只決定要執行哪個處理器,不會成為撰寫回覆的處理器。

Four published TypeSafe patterns: fan-out, confidence routing, composite scoring, intent routing
扇出、Confidence 路由、複合評分及意圖路由。

推測式 fan-out

做什麼
在一次呼叫中送出多個問題,包括推測性問題。
效益
成本、速度

Confidence 門控路由

做什麼
以信心作為是否執行的第二個判斷軸。
效益
可靠性、安全性

綜合評分

做什麼
將判斷拆成不可再分的分數,並在程式碼中加權合併。
效益
成本、可靠性、速度

意圖路由

做什麼
分類意圖,再路由至程式邏輯、LLM 或真人。
效益
成本、速度
決策類別Jev 判斷什麼
客戶支援automation分類工單、偵測緊急程度與退款需求,並分派佇列。
保險理賠automation分類首次損失通知紀錄,並升級高風險理賠案件。
金融犯罪automation撰寫Score警示敘述,並分派情況不明的 KYC 案件。
電商市集automation標準化商品刊登內容,並標記違禁或仿冒跡象。
內容審核與信任安全automation依公司專屬的審核準則及嚴重度進行判定。
廣告automation檢查品牌安全及廣告與到達頁面的一致性。
遊戲automation審核聊天內容、評估挫折程度,並路由玩家支援案件。
人才招募automation依明確且與職務相關的準則,對履歷進行 Score。
潛在客戶開發automation比對個人檔案與理想客戶輪廓,並路由購買意圖。
模型路由automation選擇每則提示詞要交給哪個 LLM。
LLM 護欄automation偵測越獄、提示詞注入及政策違規。
搜尋與擷取automation以 Score 評估查詢與候選結果的相關性,並重新排序。
特徵擷取automation將語言轉換為供傳統機器學習使用的機率特徵。
風險評估automation將事件紀錄轉換為機率式風險指標。
圖與知識圖譜automation分類關係並偵測矛盾。
語意程式碼檢查automation在 CI 中執行團隊專屬的語意檢查。
需求預測automation擷取意圖與緊急程度特徵以供預測。

應用情境圖中的決策範例

TypeSafe 的應用情境圖列出的是業界範例,而非另一套 Primitives。客戶支援可分類工單、偵測急迫性與退款需求,並分流佇列。保險理賠可分類首次損失通知紀錄,並升級高風險案件。金融犯罪防制可評估警示敘述,並分流含糊的 KYC 案件。法律與法遵可偵測缺漏條款與禁止聲明。電商市集可標準化商品刊登內容,並標記仿冒訊號。

內容審核會套用公司專屬準則與嚴重程度。廣告檢查品牌安全及廣告與到達頁面的一致性。遊戲領域可審核聊天內容、評估挫折程度,並分流玩家支援。招募會依明確且與職務相關的準則評估履歷。潛在客戶開發會比對個人檔案與 ICP。模型路由會決定哪個 LLM 接收提示詞。LLM 防護機制可偵測越獄、提示詞注入及政策違規。

搜尋與檢索會評估查詢和候選結果的相關性。特徵擷取把語言轉為傳統機器學習可用的機率特徵。風險評估把事件紀錄轉為指標。圖譜可分類關係並偵測矛盾。語意程式碼檢查會在 CI 中執行團隊專屬檢查。需求預測會擷取意圖與急迫性特徵。每一列都代表一種決策形式,而非代管工作流程;採取行動的程式碼仍由你負責。

在程式碼中組合,不要塞進單一提示詞

扇出搭配信心路由是常見的正式環境組合:提問多於實際所需,捨棄不相關的 Nouls,並且只有在 Choice 信心高於嚴格門檻時才自動執行。若單一 Score 會掩蓋三種不同判斷,則在底層採用綜合評分。意圖路由是入口,負責決定後續請求要交給 Jev、LLM 或真人處理。

evals.typesafe.ai 發布的評測系列包括安全事件、代理追蹤可觀測性、發票處理及客戶服務。TypeSafe 首頁上的 193.6x / 444.6x 數據,來自這些工作流程評測與 Astra、Fable 平均值的比較。請將其視為 TypeSafe 公布的比較結果,而非本 wiki 重新執行所得的數據。

即使所需模式不在這四種之中,仍可組合各項原語。新的控制流程請保留在自己的程式碼庫中。若想將其加入文件索引,可向 TypeSafe 提交說明。在 TypeSafe 發布另一種命名模式前,額外組合應留在應用程式碼內。

為工作流程選擇模式

當多個問題共用同一個 state,且其中一些可能不適用時,優先採用 speculative fan-out。這是助理、客服單機器人及任何類似總機系統的預設模式。一旦答案可能觸發退款、封禁、匯款或部署等副作用,就應加入以 confidence 為門檻的路由。

若單一 Score 會混合不同面向,請採用綜合評分。證據品質、政策符合度及客戶事件嚴重度是三個 Scores,再由你自行加權求和。若混合式系統還包含 LLM 或真人佇列,請在邊界使用意圖路由,讓 Jev 決定目的地,而不是代替目的地完成工作。

本頁的 18 個決策範例是 TypeSafe 提供的應用圖譜,不是額外端點。客戶支援、理賠、護欄、搜尋及遊戲仍一律以 Choice、Score 和 Noul 呼叫 POST /v1/systemone。複用決策結構後,應依自家政策文字編寫準則,而非套用通用提示詞庫。

預設採用扇出。若標籤可能花費金錢或封禁使用者,請加入信心門檻。若單一圖例會混合不同軸向,請拆分 Scores。在與 LLM 相接的邊界放置意圖路由。這四句就是目前發布的完整模式集。

用途圖譜包含十八種決策結構,不是十八套 API。每列最終仍會轉換為 POST /v1/systemone 上的一個或多個問題。將結構套入自己的領域,再依自家政策編寫準則。若通用審核提示詞並非你的政策,就不會符合此圖譜。

推測式 fan-out 正是本頁 H1 所指的模式,因為 TypeSafe 以此為首要模式。其餘三種位於其下,說明單次呼叫回傳後該如何運用答案。

18 個決策範例共用同一個系列名稱 automation,因為它們都是軟體判斷,而不是另一條產品線。

來源