Jev 的 Doom 示範

Doom、Wikiracing 與智慧家庭 fan-out,全都不會傳送畫面像素。

官方示範包括:在即時 Doom 迴圈中運行的 Jev、可處理大量候選項目的 Wikiracing 選擇器,以及智慧家庭助理。Doom 使用結構化文字 state,每秒約處理 10 次查詢,每小時成本約 $7,並不傳送影格。Wikiracing 會從 255 個連結中,透過先評分再選擇的兩階段系統作答。智慧家庭示範是 TypeSafe 的完整 speculative fan-out 範例。公開錄影請觀看首頁的發布影片;本頁則詳解這三種迴圈。

以結構化文字執行 Doom

發布文章中的 Doom 示範會把遊戲的文字描述送入 state。Jev 看不到畫面緩衝區。按已公布的輸入價格計算,每秒約查詢 10 次的成本約為每小時 $7,且輸出 token 免費。此速率只是示範數字,並非正式環境必須達到的 QPS。重點在於,決策時間為 70ms-500ms 的模型可以加入原本得等待緩慢生成呼叫的迴圈。

利用引擎已知的資訊建立 state:生命值、可見實體、目標。詢問規劃器可直接採用的 Nouls 和 Choices,例如是否開槍、該走哪扇門、這件物品是否有用;移動相關數學則留在引擎中。若發現自己要求 Jev 計算彈藥,就已碰到數學能力的 Jaggedness 邊界。請用程式碼計算,再詢問 Jev 目前戰術是否仍符合目標。

同一套迴圈也適用於其他模擬。Cloudflare 的 typesafe/jev 頁面是供工作程式使用的目錄項目,不是 Doom 主機。這並非 Steam 應用程式。請讓機器人連線至 api.typesafe.ai,並固定使用 jev-latest;若已調校好門檻,也可使用 jev-1.13.0。

Jev 1.13 model card: price, rate limits, context, text-only input
同一張 Jev 1.13 模型卡將 Doom 迴圈的價格列為每百萬個輸入 token $0.042。

Doom

input
結構化文字遊戲 state
rate
約每秒 10 次查詢
cost
約每小時 $7
pixels
false

Wikiracing

input
Wikipedia 頁面連結
cardinality
數百至數千;>255 時採兩階段評分

智慧家庭助理

pattern
speculative fan-out
官方示範
true

高基數下的 Wikiracing

Wikiracing 會選擇下一條 Wikipedia 連結,逐步前往目標頁面。連結基數從數百到數千不等。單一 Choice 最多只接受 255 個選項,因此示範會先評分,再從候選清單中選擇。每當目錄大小超過 Choice 上限時,這種兩階段模式就是實際可行的解法。

第一階段:針對「這條連結對前往目標有多大幫助」,以 Score 或 Noul 評估每個候選項目,也可分批評分。第二階段:對排名前 K 的名稱執行 Choice。K 值、排序與實際造訪都由你的程式碼控制。Jev 完全不必以生成文字輸出 URL。若頁面有 40 條連結,一次 Choice 就夠;若有 800 條,別自行假設能提高 maxOptions——上限就是 255。

只將目前頁面的文字放進 state,不要塞入所有連結文章的完整內容。充斥無關細節的大型 state 是已知失敗模式。請傳送目前頁面的摘要與候選標題;若競速取決於日期或數量,請在程式碼中擷取。

智慧家庭 fan-out,以及 Jev 的執行位置

官方智慧家庭助理示範會用一長串問題評估每個使用者要求,其中許多問題對大部分話語都無關。「關掉屋裡所有燈光」仍會在一次呼叫中詢問類別、領域、裝置及動作。動作問題屬於推測式提問:它在尚未確定前就先假設目標是燈光。程式碼會保留相符答案並忽略其餘結果。若改成循序呼叫 API,便要等確定裝置後才能詢問動作,也會失去低延遲優勢。

TypeSafe 在示範文件中嵌入了 Loom 操作導覽。請前往 docs.typesafe.ai/demos/smart-home 觀看該錄影,不必在此放置副本。這個模式應搭配信心閘門路由,避免低信心的裝置 Choice 真的切換開關。高風險動作應由家庭控制器確認,而不是在 Jev 的承載內容中確認。

Jev 以 API 形式運作:可透過 TypeSafe 控制台、HTTP 與官方 SDK 使用。YouTube 的 Typesafe AI 頻道目前尚無影片,因此沒有可供介面嵌入的官方 YouTube 影片。Instagram 是 typesafeai。Discord 邀請碼為 WUujKYBp8s。GitHub 組織為 typesafe-ai。搶先體驗版法律條款聲明,客戶資料不會用於訓練。若需要公開的競速數據,TypeSafe 首頁指出,在四項工作流程評測中,相較 Astra 與 Fable 的平均值,速度快 193.6x、成本低 444.6x。

示範旁的工作流程評測

evals.typesafe.ai 顯示 TypeSafe 用於公開比較的工作流程類別:安全事件、代理追蹤可觀測性、發票處理與客戶服務。首頁的 193.6x / 444.6x 是這些類別相較 Astra 與 Fable 的平均值,並非你流量的即時儀表。

使用評測檢視器,可查看 System One 路徑如何在同一項工作中與聊天及推理模型並列。Jev 仍只會回傳具型別的答案。評測框架屬於 TypeSafe,並非本站重新執行的第三方基準測試。

製作自己的示範時,請記住三種官方迴圈:以約 10 Hz 執行的緊密文字 state(Doom)、超過 255 個 Choice 上限的基數問題(Wikiracing),以及推測式問題對照表(智慧家庭)。這些才是 TypeSafe 實際推出的形式,而且全部都不接受像素輸入。

只有能明確指出屬於三種迴圈中的哪一種,才重建示範:每秒查詢數次的文字 state、超過 255 項的目錄,或推測式問題對照表。若示範需要影格,就還不是在展示 Jev 1.13。

Doom 的成本依公開輸入價格與免費輸出計算。每秒查詢 10 次是示範速率,不是配額。除非業務團隊已提高你的上限,否則請維持在每分鐘 1,200 次請求及每秒 250,000 個 token 以內。每小時 $7 是 TypeSafe 提供的示例,不是本 wiki 開出的帳單。

請連至 Doom 與 Wikiracing 的發布文章,以及詳解 fan-out 流程的智慧家庭文件。本頁是實用指南;上述頁面則收錄官方第一手錄影。

首頁影片就是公開錄影。Doom、Wikiracing與智慧家庭,是該錄影要推廣的三種迴圈。

來源