Демо Jev Doom

Doom, Wikiracing и система умного дома fan-out — ни одна из этих демонстраций не передаёт пиксели.

В официальных демонстрациях показаны Jev в цикле Doom реального времени, средство выбора Wikiracing из множества вариантов и ассистент умного дома. Doom использует структурированное текстовое состояние, выполняя около 10 запросов в секунду при стоимости около $7 в час, а не обрабатывает кадры. Для Wikiracing с более чем 255 ссылками применяется двухэтапная система: сначала оценка, затем выбор. Демонстрация умного дома — подробный пример speculative fan-out от TypeSafe. Публичная запись доступна в стартовом видео на главной странице, а здесь подробно разобраны все три цикла.

Doom на основе структурированного текста

В демо Doom из стартовой публикации подаётся текстовое описание состояния игры. Jev не видит кадровый буфер. При примерно 10 запросах в секунду стоимость по опубликованной цене входных данных составляет около $7 в час, а выходные токены бесплатны. Это частота из демо, а не обязательный показатель QPS для рабочей среды. Суть в том, что модель принятия решений с задержкой 70ms-500ms можно встроить в цикл, который раньше ждал медленного генеративного вызова.

Формируйте состояние из данных, уже известных движку: здоровье, видимые сущности, цели. Задавайте Nouls и Choices, которые может использовать планировщик: стрелять ли, какую дверь выбрать, полезен ли предмет. Расчёты движения оставляйте движку. Если вы просите Jev посчитать боеприпасы, то упёрлись в математическую границу Jaggedness. Считайте в коде, а у Jev спрашивайте, соответствует ли текущая тактика цели.

Тот же цикл применим и к другим симуляциям. Страница typesafe/jev от Cloudflare — это запись в каталоге для исполнителей, а не хост Doom. Приложения в Steam нет. Запускайте бота через api.typesafe.ai, закрепив jev-latest, либо используйте jev-1.13.0, если настроили пороговые условия.

Jev 1.13 model card: price, rate limits, context, text-only input
Та же карточка Jev 1.13, где стоимость цикла Doom указана как $0.042 за миллион входных токенов.

Doom

input
структурированное текстовое состояние игры
rate
около 10 запросов в секунду
cost
около $7 в час
pixels
false

Wikiracing

input
ссылки на страницах Wikipedia
cardinality
от сотен до тысяч; при >255 используется двухэтапная оценка

Помощник для умного дома

pattern
speculative fan-out
Официальная демоверсия
true

Wikiracing при большом числе вариантов

Wikiracing выбирает следующую ссылку Wikipedia на пути к целевой странице. Число вариантов составляет от сотен до тысяч ссылок. Один Choice принимает лишь 255 вариантов, поэтому демо сначала выставляет оценки, а затем выбирает из сокращённого списка. Такая двухэтапная схема — практичное решение для любого каталога, превышающего лимит Choice.

Первый этап: примените Score или Noul к каждому кандидату либо оценивайте их пакетами по критерию «насколько эта ссылка приближает к цели». Второй этап: примените Choice к K лучшим названиям. Значение K, сортировка и переход остаются за вашим кодом. Jev не приходится генерировать URL как текст. Для страницы с 40 ссылками достаточно одного Choice. Если ссылок 800, не пытайтесь мысленно увеличить maxOptions — лимит равен 255.

Храните в состоянии текст текущей страницы, а не полные выгрузки всех статей по ссылкам. Перегруженное посторонними подробностями состояние входит в список известных причин сбоев. Передавайте сводку текущей страницы и названия кандидатов. Если гонка зависит от дат или количества, извлекайте их кодом.

Умный дом fan-out и место выполнения Jev

Официальное демо помощника для умного дома проверяет каждый запрос пользователя по длинному списку вопросов, многие из которых для большинства фраз неактуальны. Даже для команды «Выключи весь свет в доме» категория, область, устройство и действие определяются одним вызовом. Вопрос о действии задан на опережение: он предполагает, что речь идёт о свете, до установления этого факта. Код сохраняет подходящие ответы и игнорирует остальные. При последовательных вызовах API вопрос о действии задавался бы лишь после определения устройства, что свело бы на нет выигрыш в задержке.

В документацию демо TypeSafe встроено пошаговое видео Loom. Смотрите запись на docs.typesafe.ai/demos/smart-home, а не её копию здесь. Дополните эту схему маршрутизацией с порогом уверенности, чтобы Choice устройства с низкой уверенностью не переключил настоящий выключатель. Критически важные действия подтверждайте в контроллере дома, а не в данных запроса Jev.

Jev работает как API: консоль TypeSafe, HTTP и официальные SDK. На канале Typesafe AI в YouTube пока нет публикаций, поэтому официального трейлера YouTube для встраивания нет. В Instagram используется имя typesafeai. Код приглашения Discord: WUujKYBp8s. Организация GitHub: typesafe-ai. По юридическим условиям раннего доступа данные клиентов не используются для обучения. Если нужен публичный показатель гонки, на главной странице TypeSafe указано, что в четырёх тестах рабочих процессов система в среднем в 193.6x быстрее и в 444.6x дешевле Astra и Fable.

Тесты рабочих процессов рядом с демо

На evals.typesafe.ai представлены семейства рабочих процессов, которые TypeSafe использует в публичных сравнениях: инциденты безопасности, наблюдаемость трассировки агентов, обработка счетов и поддержка клиентов. Показатели 193.6x / 444.6x на главной странице — средние результаты относительно Astra и Fable для этих семейств, а не счётчик вашего трафика в реальном времени.

В средстве просмотра тестов можно увидеть, как путь System One выполняет ту же задачу рядом с чат-моделями и моделями рассуждений. Jev по-прежнему возвращает только типизированные ответы. Тестовая система принадлежит TypeSafe: сайт не проводил повторный прогон стороннего бенчмарка.

Создавая собственное демо, учитывайте три официальных цикла: компактное текстовое состояние с частотой около 10 Hz (Doom), задачу с числом вариантов выше лимита в 255 для Choice (Wikiracing) и спекулятивную карту вопросов (умный дом). Именно такие схемы TypeSafe выпустила на практике, и ни одна из них не принимает пиксели.

Воссоздавайте демо, только если можете отнести его к одному из трёх циклов: текстовое состояние с несколькими запросами в секунду, каталог крупнее 255 вариантов или карта опережающих вопросов. Если демо нужны кадры, значит, Jev 1.13 в нём пока не демонстрируется.

Стоимость Doom рассчитывается по публичной цене входных данных при бесплатном выводе. Десять запросов в секунду — частота из демо, а не квота. Не превышайте 1,200 запросов в минуту и 250,000 токенов в секунду, если отдел продаж не повысил ваш лимит. Значение $7 в час — пример от TypeSafe, а не счёт от этой вики.

Перейдите к публикации о запуске, посвящённой Doom и Wikiracing, а пошаговый разбор fan-out ищите в документации по умному дому. Эта страница — практическое руководство, а те страницы содержат записи от разработчиков.

Видео на главной странице — публичная запись. В ней представлены три цикла: Doom, Wikiracing и умный дом.

Источники