Демо Jev Doom
Doom, Wikiracing и система умного дома fan-out — ни одна из этих демонстраций не передаёт пиксели.
В официальных демонстрациях показаны Jev в цикле Doom реального времени, средство выбора Wikiracing из множества вариантов и ассистент умного дома. Doom использует структурированное текстовое состояние, выполняя около 10 запросов в секунду при стоимости около $7 в час, а не обрабатывает кадры. Для Wikiracing с более чем 255 ссылками применяется двухэтапная система: сначала оценка, затем выбор. Демонстрация умного дома — подробный пример speculative fan-out от TypeSafe. Публичная запись доступна в стартовом видео на главной странице, а здесь подробно разобраны все три цикла.
Doom на основе структурированного текста
В демо Doom из стартовой публикации подаётся текстовое описание состояния игры. Jev не видит кадровый буфер. При примерно 10 запросах в секунду стоимость по опубликованной цене входных данных составляет около $7 в час, а выходные токены бесплатны. Это частота из демо, а не обязательный показатель QPS для рабочей среды. Суть в том, что модель принятия решений с задержкой 70ms-500ms можно встроить в цикл, который раньше ждал медленного генеративного вызова.
Формируйте состояние из данных, уже известных движку: здоровье, видимые сущности, цели. Задавайте Nouls и Choices, которые может использовать планировщик: стрелять ли, какую дверь выбрать, полезен ли предмет. Расчёты движения оставляйте движку. Если вы просите Jev посчитать боеприпасы, то упёрлись в математическую границу Jaggedness. Считайте в коде, а у Jev спрашивайте, соответствует ли текущая тактика цели.
Тот же цикл применим и к другим симуляциям. Страница typesafe/jev от Cloudflare — это запись в каталоге для исполнителей, а не хост Doom. Приложения в Steam нет. Запускайте бота через api.typesafe.ai, закрепив jev-latest, либо используйте jev-1.13.0, если настроили пороговые условия.
Doom
- input
- структурированное текстовое состояние игры
- rate
- около 10 запросов в секунду
- cost
- около $7 в час
- pixels
- false
Wikiracing
- input
- ссылки на страницах Wikipedia
- cardinality
- от сотен до тысяч; при >255 используется двухэтапная оценка
Помощник для умного дома
- pattern
- speculative fan-out
- Официальная демоверсия
- true
Wikiracing при большом числе вариантов
Wikiracing выбирает следующую ссылку Wikipedia на пути к целевой странице. Число вариантов составляет от сотен до тысяч ссылок. Один Choice принимает лишь 255 вариантов, поэтому демо сначала выставляет оценки, а затем выбирает из сокращённого списка. Такая двухэтапная схема — практичное решение для любого каталога, превышающего лимит Choice.
Первый этап: примените Score или Noul к каждому кандидату либо оценивайте их пакетами по критерию «насколько эта ссылка приближает к цели». Второй этап: примените Choice к K лучшим названиям. Значение K, сортировка и переход остаются за вашим кодом. Jev не приходится генерировать URL как текст. Для страницы с 40 ссылками достаточно одного Choice. Если ссылок 800, не пытайтесь мысленно увеличить maxOptions — лимит равен 255.
Храните в состоянии текст текущей страницы, а не полные выгрузки всех статей по ссылкам. Перегруженное посторонними подробностями состояние входит в список известных причин сбоев. Передавайте сводку текущей страницы и названия кандидатов. Если гонка зависит от дат или количества, извлекайте их кодом.
Умный дом fan-out и место выполнения Jev
Официальное демо помощника для умного дома проверяет каждый запрос пользователя по длинному списку вопросов, многие из которых для большинства фраз неактуальны. Даже для команды «Выключи весь свет в доме» категория, область, устройство и действие определяются одним вызовом. Вопрос о действии задан на опережение: он предполагает, что речь идёт о свете, до установления этого факта. Код сохраняет подходящие ответы и игнорирует остальные. При последовательных вызовах API вопрос о действии задавался бы лишь после определения устройства, что свело бы на нет выигрыш в задержке.
В документацию демо TypeSafe встроено пошаговое видео Loom. Смотрите запись на docs.typesafe.ai/demos/smart-home, а не её копию здесь. Дополните эту схему маршрутизацией с порогом уверенности, чтобы Choice устройства с низкой уверенностью не переключил настоящий выключатель. Критически важные действия подтверждайте в контроллере дома, а не в данных запроса Jev.
Jev работает как API: консоль TypeSafe, HTTP и официальные SDK. На канале Typesafe AI в YouTube пока нет публикаций, поэтому официального трейлера YouTube для встраивания нет. В Instagram используется имя typesafeai. Код приглашения Discord: WUujKYBp8s. Организация GitHub: typesafe-ai. По юридическим условиям раннего доступа данные клиентов не используются для обучения. Если нужен публичный показатель гонки, на главной странице TypeSafe указано, что в четырёх тестах рабочих процессов система в среднем в 193.6x быстрее и в 444.6x дешевле Astra и Fable.
Тесты рабочих процессов рядом с демо
На evals.typesafe.ai представлены семейства рабочих процессов, которые TypeSafe использует в публичных сравнениях: инциденты безопасности, наблюдаемость трассировки агентов, обработка счетов и поддержка клиентов. Показатели 193.6x / 444.6x на главной странице — средние результаты относительно Astra и Fable для этих семейств, а не счётчик вашего трафика в реальном времени.
В средстве просмотра тестов можно увидеть, как путь System One выполняет ту же задачу рядом с чат-моделями и моделями рассуждений. Jev по-прежнему возвращает только типизированные ответы. Тестовая система принадлежит TypeSafe: сайт не проводил повторный прогон стороннего бенчмарка.
Создавая собственное демо, учитывайте три официальных цикла: компактное текстовое состояние с частотой около 10 Hz (Doom), задачу с числом вариантов выше лимита в 255 для Choice (Wikiracing) и спекулятивную карту вопросов (умный дом). Именно такие схемы TypeSafe выпустила на практике, и ни одна из них не принимает пиксели.
Воссоздавайте демо, только если можете отнести его к одному из трёх циклов: текстовое состояние с несколькими запросами в секунду, каталог крупнее 255 вариантов или карта опережающих вопросов. Если демо нужны кадры, значит, Jev 1.13 в нём пока не демонстрируется.
Стоимость Doom рассчитывается по публичной цене входных данных при бесплатном выводе. Десять запросов в секунду — частота из демо, а не квота. Не превышайте 1,200 запросов в минуту и 250,000 токенов в секунду, если отдел продаж не повысил ваш лимит. Значение $7 в час — пример от TypeSafe, а не счёт от этой вики.
Перейдите к публикации о запуске, посвящённой Doom и Wikiracing, а пошаговый разбор fan-out ищите в документации по умному дому. Эта страница — практическое руководство, а те страницы содержат записи от разработчиков.
Видео на главной странице — публичная запись. В ней представлены три цикла: Doom, Wikiracing и умный дом.
Источники