Jev 1.13 の jaggedness

この一覧の使い方

検索対象はパターン名と代替手段の説明。全行のfamilyはjev-1.13-failure-mode、appliesToはjev-1.13。検索を消去すると9件すべてに戻る。TypeSafeによれば、こうした弱点の多くは後続バージョンで修正される予定。それまでは、代替手段の列を本番用質問の仕様として扱う。

字面どおりの解釈：Jevが答えるのは、意図した質問ではなく実際に書いた質問である。範囲を限定する語、否定、暗黙の条件は、そのままの意味で解釈される。本当の意図を説明したくなったら、その説明を指示と基準に含める。解釈が避けられない場合は、2つの明示的な質問に分け、コード側で結果を組み合わせる。

計算と数値：Jevは計算機ではない。文字数、語句の出現回数、長い一覧の件数を数える処理は不安定で、対象が増えるほど精度が落ちる。16進カラーや低水準エンコーディングは、英語名より性能が低い。Scoreの段階間を補間して正確な量を復元してはならない。計算はコード側で行い、候補を順に処理して1件につき意味的な質問を1つ尋ね、合計も自分で算出する。

日付、参照段階、state、生成

日時の比較：Jevは日付を順序のある量ではなくテキストとして読み取ります。どの日付が先か、どれだけ離れているか、指定期間内かの判定は、形式や四半期表記が混在すると特に不安定です。未記載の選択肢も含め、Choiceで月・日・年を抽出し、コード側で組み立てて比較してください。

間接参照：二重否定や、ある属性のさらに属性を問う質問は精度を落とします。参照段数を減らし、関連するstateを明示してください。無関係な詳細で膨らんだstateはノイズになるため、先に絞り込みます。state内の敵対的コンテンツは回答を誘導できます。stateはデータであり、信頼済みユーザーではないからです。基準を明確にし、境界ケースをテストしてください。指示と基準が矛盾するとモデルが混乱するため、両者を揃え、trueを「いいえ」に対応付けないでください。

常識的に成り立つと思われる構造上の不変条件も保証されません。同じ返金質問に対するNoulとChoiceが食い違うことがあり、Noulとその否定の合計も1になるとは限りません。各判断は1通りの聞き方に統一してください。生成は対象外です。文章作成のためにChoiceを連鎖させると遅く、品質も低くなります。生成モデルまたは正規表現で候補を作り、Jevに選ばせてください。

質問をリリースする前に

指示を声に出して読んでください。同僚に説明するため補足文が必要なら、その文も指示に含めるべきです。境界ケースは基準に記載し、日付や列挙値を抽出するChoiceには「該当なし／未記載」を明示的に用意してください。

使用した動詞をこの一覧で検索してください：数える、比較する、生成する、参照をたどる、丸ごと投入する。通常は「数学と数値」「日時の比較」「生成」「間接参照」「巨大なstate」のいずれかに該当します。stateに、自らのラベルを正当化する信頼できないユーザーテキストが含まれる場合は、敵対的コンテンツにも注意が必要です。

テストフィクスチャには、この9件を残してください。正常なChoiceだけを確認する単体テストでは、NoulとChoiceの不一致を見逃します。TypeSafeがこのカタログを最後に確認したのは17 September 2026です。以降のJevでは項目が減る可能性がありますが、jev-1.13.0には今も9件すべてが含まれています。

プロンプトレビュー時は、この9行の一覧を手元に置いてください。ページ上のフィルターも同じ一覧です。名前または代替策の行を検索し、ファミリーをjev-1.13-failure-modeに絞ります。本番環境での失敗が9件に含まれなくても失敗には変わりませんが、文書化済みのjev-1.13の弱点ではありません。

最初に遭遇するのは字義どおりの解釈による失敗です。モデルは書かれたとおりに処理しただけです。数を数えさせたときに現れるのが数学の失敗、文章作成のためにChoiceを連鎖させたときに現れるのが生成の失敗です。残る6種類は、本番運用を始めて1週間ほど経ってから見つかります。

失敗が起きたら、プロンプトを書き直す前にモードを特定してください。特定できない場合は新たな弱点か、ポリシーとチケットを1つの文字列に詰め込んだままのstateを見ている可能性があります。

全行のファミリータグはjev-1.13-failure-modeです。appliesToはjev-1.13です。どちらもフィルターであり、追加のモードではありません。