Jev 1.13 のカード

料金、コンテキスト、レート制限

入力料金は10億トークンあたり$42、100万トークンあたり$0.042です。出力トークンは無料です。文書記載の毎秒250,000トークンまたは毎分1,200リクエストを超えると、429 Too Many Requestsが返されます。公式SDKはバックオフ付きで再試行し、retry-afterがあれば従います。TypeSafeでは、需要が高くGPU契約も進行中のため上限を動的に調整しており、予告なく変更される可能性があると注意しています。カスタムプランとエンタープライズプランでは、sales@typesafe.aiへの相談により上限を引き上げられます。

コンテキスト上限は1リクエストあたり64kトークンです。さらに、stateと最長の質問には32kトークンの上限があります。Jevはstateを一度取り込み、すべての質問を並列評価するため、64kの枠にはstateと全質問の合計が含まれます。無関係な詳細でstateが増えるほど精度は低下します。この失敗パターンはjaggednessページに記載されています。倉庫全体を1つのフィールドへ詰め込まず、speculative fan-outで多数の短い質問をまとめてください。

入力はテキストのみです。文字列、JSONオブジェクト、またはテキスト値の配列を使用できます。画像、音声、動画は入力できません。テキスト以外のデータは、呼び出し前にフィールドへ変換してください。主な学習言語は英語です。CJKを含む他言語は精度が下がるため、英語以外のキューを自動化する前にconfidenceを測定してください。

エイリアスとモデル一覧

エイリアスは、バージョン付きIDに解決されるモデル名です。他の名前と同様にmodelフィールドへ指定します。jev-latestは最新の安定版公式リリースを表します。jev-previewは公式かどうかを問わず最新リリースを表し、プレビュービルドがある場合はjev-latestより先に更新されます。現在、両方の名前はjev-1.13.0を指しています。

新しいリリースが公開されるとエイリアスの参照先が変わるため、コードを変更していなくても回答が変化する可能性があります。レスポンスのmodelフィールドには、実際に回答したバージョン付きIDが入ります。このIDを記録してください。confidenceのしきい値をjev-1.13.0で調整した場合は、再調整が終わるまでjev-1.13.0を指定し続けてください。

GET /v1/modelsは、アカウントから指定できる名前を説明とリリース日付きで返します。現在はエイリアスも掲載されます。jev-1.13.0のようなバージョン付きIDは、この一覧に表示されなくてもmodelフィールドで使用できます。

データの取り扱いとカスタマイズ

Jevは顧客データによるファインチューニングもLoRA適応も行っていません。顧客のリクエストやレスポンスを学習にも使用しません。すべてのアカウントに同じRLCDの重みが提供されます。用途への特化は、stateの内容、指示、基準、コード側の構成で行います。TypeSafeの法務索引には、DPA、プライバシーポリシー、エンタープライズ顧客向けゼロデータ保持が掲載されています。

エンドツーエンドの応答時間は70ms-500ms、大半のクエリは約100msとされています。この範囲はローンチ資料に掲載された値であり、このwiki独自の測定によるレイテンシSLOではありません。レート制限の注記も併せて確認してください。TypeSafeが早期アクセスを拡大する間は、スループットとRPMが変動する可能性があります。

本番環境で指定する名前

先週調整したゲートを来週も同じ意味で使う必要があるなら、jev-1.13.0を指定してください。TypeSafeの現行公式リリースを使い、エイリアスの移動ごとにconfidenceのヒストグラムを再確認するなら、jev-latestを指定します。非公式ビルドを受け入れられる場合のみjev-previewを使用してください。現時点ではjev-latestと同じ参照先です。

呼び出しごとにresponse.modelを記録してください。エイリアスを送信した場合でも、このフィールドには実際に応答したバージョン付きIDが入ります。429や予想外のNoulを調査するときは、requestIdと関連付けます。エンドポイントが受け付けても、GET /v1/modelsにjev-1.13.0が常に表示されるとは限りません。

料金は入力側だけで見積もってください。出力トークンは無料なので、補完にも課金するチャットモデルに比べてfan-outは低コストです。毎秒10クエリのDoom型ループを$0.042/MTokで動かす例は、ローンチ時に示されたコスト構造の説明です。ただし、毎分1,200リクエストと毎秒250,000トークンの制限は守ってください。早期アクセス中は、これらの数値が予告なく変わる可能性があります。

営業からカスタム上限を提示されても、TypeSafeがdocs.typesafe.ai/modelsで公開するまでは、このカードには反映されません。それまでは毎秒250,000トークン、毎分1,200リクエストが公開値であり、予告なく変更される可能性があると明記されています。エンタープライズ向けゼロデータ保持は法務索引の項目であり、モデルカード上の切り替え設定ではありません。

このカードでは英語が最も高精度です。CJKのチケットを扱う場合は、confidenceのゲートを厳しく保ち、人手を外す前に自社キューをサンプリングしてください。モデルは文字自体を受け付けます。精度に関する注記は測定が必要な理由であり、隠れた403があるという意味ではありません。

エイリアスの移動はリリースイベントです。TypeSafeが新しいバージョン付きIDを公開したらmodelsページを再確認し、既存のゲートがまだ有効か判断してください。このページのカードはJev 1.13を対象としており、1.14について保証するものではありません。

このカードでは出力トークンが引き続き無料です。そのため、質問を追加してまとめる方が、通常は生成呼び出しをもう1回行うより安価です。