パターンと fan-out

公開済みの4パターン

投機的fan-outでは、必要になるかもしれない質問も含め、多数の質問を1回の呼び出しで送り、何が関連するかをコードで判断します。TypeSafeが挙げる利点はコストと速度です。スマートホームデモが実例になっています。「家中の照明をすべて消して」に対しても、発話が照明に関するものだと判明する前から、カテゴリ、領域、デバイス、操作をまとめて質問します。逐次呼び出しでは待ち時間が発生します。要点は、並列評価とコード側のフィルターを組み合わせることです。

Confidenceゲート付きルーティング：実行するかどうかを判断する第2軸としてconfidenceを使います。利点は信頼性と安全性です。confidenceゲートのないラベルは、平坦な分布でも発火します。ChoiceまたはScoreに、リスクに応じたしきい値を組み合わせ、Noulは独立した軸として維持してください。

複合スコアリング：判断を原子的なスコアに分解し、コード側で重みを合成します。利点はコスト、信頼性、速度です。Jevに巨大な1-100の品質スコアを1つ求めてはいけません。Scoreの証拠、ポリシー適合度、深刻度を個別に評価してから加算します。意図ルーティング：意図を分類し、ロジック、LLM、人間のいずれかへ振り分けます。利点はコストと速度です。Jevは実行するハンドラーを決めますが、自ら返信を書くハンドラーにはなりません。

ユースケース一覧の判断例

TypeSafeのユースケース一覧は、第2のPrimitives群ではなく業界別の例を掲載しています。カスタマーサポートでは、チケットの分類、緊急度と返金要否の検出、キューの振り分けを行います。保険請求ではFNOLメモを分類し、高リスク案件をエスカレーションします。金融犯罪対策ではアラート記述を採点し、曖昧なKYCを振り分けます。法務・コンプライアンスでは不足条項や禁止表現を検出します。ECマーケットプレイスでは出品情報を正規化し、偽造品の兆候にフラグを立てます。

モデレーションでは、企業固有の基準を深刻度とともに適用します。広告ではブランドセーフティと、広告からランディングページへの整合性を確認します。ゲームではチャットをモデレーションし、不満度を採点してプレイヤーサポートへ振り分けます。採用では、職務に関する明示的な基準で履歴書を採点します。リード獲得ではプロフィールをICPと照合します。モデルルーティングでは、プロンプトを渡すLLMを選びます。LLMガードレールでは、ジェイルブレイク、インジェクション、ポリシー違反を検出します。

検索と取得では、クエリと候補の関連度を採点します。特徴抽出では、言語を従来型ML向けの確率的特徴量に変換します。リスク評価では、インシデントメモを指標へ変換します。グラフでは関係を分類し、矛盾を検出します。セマンティックコードlintでは、チーム固有のチェックをCIで実行します。需要予測では、意図と緊急度の特徴量を抽出します。各行が示すのは判断の型であり、ホスト型ワークフローではありません。実際に処理するコードは引き続き利用者が管理します。

1つのプロンプトではなく、コード側で構成する

ファンアウトとconfidenceルーティングは、実運用でよく使われる組み合わせだ。必要数より多く質問し、無関係なNoulを除外したうえで、Choiceのconfidenceが高い基準を超えた場合のみ自動実行する。1つのScoreでは異なる3つの判断が埋もれる場合、その下で複合スコアリングを使う。入口では意図ルーティングにより、リクエストの残りをJev、LLM、人間のどれに渡すか決める。

evals.typesafe.aiで公開されている評価ファミリーには、セキュリティインシデント、エージェントトレース可観測性、請求書処理、カスタマーサービスがある。TypeSafeのホームページにある193.6x / 444.6xという数値は、これらのワークフロー評価をAstraおよびFableの平均と比較したものだ。このWikiで再検証した数値ではなく、TypeSafeが公開した比較値として扱うこと。

必要なパターンが4つに含まれていなくても、Primitivesは組み合わせられる。新しい制御フローは自分のリポジトリで管理する。ドキュメント一覧への掲載を希望する場合は、TypeSafeに要望を送る。TypeSafeが別の名前付きパターンを公開するまでは、追加の構成をアプリケーションコード内に置く。

ワークフローに合うパターンの選び方

複数の質問が1つのstateを共有し、一部が該当しない可能性がある場合は、必ずspeculative fan-outから始めてください。アシスタント、チケットボット、交換台のような仕組みでは、これが標準です。回答によって返金、BAN、送金、デプロイなどの副作用が発生し得る時点で、confidenceによるゲート付きルーティングを追加してください。

1つのScoreに性質の異なる軸が混ざる場合は、複合スコアリングを使う。証拠の品質、ポリシーへの適合度、顧客問題の深刻度を3つのScoreに分け、管理下のコードで加重合計する。LLMや有人キューも含む混成システムの入口では意図ルーティングを使い、Jevには行き先の作業をさせず、行き先だけを決めさせる。

このページにある18件の判断例はTypeSafeの用途マップであり、追加エンドポイントではない。カスタマーサポート、保険請求、ガードレール、検索、ゲームのすべてで、Choice、Score、Noulを指定してPOST /v1/systemoneを呼び出す。判断の形を流用し、汎用プロンプト集ではなく自社ポリシーの文面から基準を書くこと。

標準はファンアウト。ラベルによって支出やユーザーのBANが発生し得るならconfidenceゲートを加える。1つの凡例に異なる評価軸が混ざるならScoreを分ける。LLMとの境界には意図ルーティングを置く。この4文が、公開済みパターンのすべてだ。

ユースケースマップにあるのは18種類の判断形式であり、18個のAPIではない。各行は引き続き、POST /v1/systemoneへの1つ以上の質問になる。形式を自分の領域に取り込み、自社ポリシーから基準を書く。自社ポリシーに基づかない汎用モデレーションプロンプトは、このマップには適合しない。

投機的fan-outは、このページのH1にもなっているパターンです。TypeSafeが最初に紹介しているためです。残りの3つは、1回の呼び出しから回答が返った後の活用方法として、その下に配置されています。

18件の意思決定例は第2の製品ラインではなく、ソフトウェア上の判断なので、共通のファミリー名automationを使用しています。