Картка Jev 1.13

Ціна, контекст і ліміти запитів

Вхідні дані коштують $42 за мільярд токенів, тобто $0.042 за мільйон. Вихідні токени безкоштовні. Запит понад задокументовані 250,000 токенів на секунду або 1,200 запитів на хвилину повертає 429 Too Many Requests. Офіційні SDK повторюють спроби зі збільшенням затримки й дотримуються retry-after, якщо його вказано. TypeSafe попереджає, що за високого попиту й укладання угод щодо GPU ліміти динамічно коригуються та можуть змінюватися без попередження. Для індивідуальних і корпоративних планів ліміт можна підвищити через sales@typesafe.ai.

Контекст становить 64k токенів на запит. Окремий бюджет у 32k токенів діє для стану разом із найдовшим запитанням. Jev завантажує стан один раз і паралельно зіставляє з ним кожне запитання, тому вікно 64k охоплює стан і всі запитання разом. Коли стан розростається через недоречні подробиці, точність падає — цей режим відмови наведено на сторінці jaggedness. Об’єднуйте багато коротких запитань за допомогою speculative fan-out, а не вміщуйте все сховище в одне поле.

На вході підтримується лише текст: рядок, об’єкт JSON або масив текстових значень. Зображення, аудіо й відео не підтримуються. Перед викликом перетворіть нетекстові дані на поля. Основна мова навчання — англійська. Інші мови, зокрема CJK, обробляються з нижчою точністю, тому перед автоматизацією неангломовної черги оцініть впевненість.

Псевдоніми та перелік моделей

Псевдонім — це назва моделі, яка відповідає версійному ідентифікатору. Передавайте його в полі model, як і будь-яку іншу назву. jev-latest означає найновіший стабільний офіційний випуск. jev-preview означає найновіший випуск незалежно від його офіційного статусу й випереджає jev-latest, коли доступна попередня збірка. Наразі обидві назви вказують на jev-1.13.0.

Після виходу нового випуску псевдонім починає вказувати на нього, тому відповіді можуть змінитися без змін у вашому коді. Поле model у відповіді містить версійний ідентифікатор моделі, яка відповіла. Записуйте його в журнал. Якщо пороги впевненості налаштовано на jev-1.13.0, продовжуйте надсилати jev-1.13.0 до повторного налаштування.

GET /v1/models повертає доступні вашому обліковому запису назви разом з описом і датою випуску. Наразі до переліку входять псевдоніми. Версійні ідентифікатори на кшталт jev-1.13.0 можна передавати в полі model, навіть якщо їх немає в цьому переліку.

Обробка даних і налаштування

Jev не проходить додаткового навчання чи LoRA-адаптації на даних клієнтів. Модель не навчається на клієнтських запитах або відповідях. Для всіх облікових записів використовуються ті самі ваги RLCD. Спеціалізація виконується через вміст стану, інструкції, критерії та композицію в коді. Юридичний покажчик TypeSafe охоплює DPA, політику конфіденційності й нульове зберігання даних для корпоративних клієнтів.

Повний час відповіді заявлено в межах 70ms-500ms, а більшість запитів займає близько 100ms. Це опублікована заява з матеріалів запуску, а не SLO затримки за власними вимірюваннями цієї вікі. Враховуйте її разом із приміткою про ліміти: пропускна здатність і RPM можуть змінюватися, поки TypeSafe масштабує ранній доступ.

Яку назву надсилати у виробничому середовищі

Надсилайте jev-1.13.0, якщо налаштовані минулого тижня пороги мають зберігати те саме значення й наступного. Надсилайте jev-latest, якщо потрібен поточний офіційний випуск TypeSafe і ви готові заново переглядати гістограми впевненості після кожної зміни псевдоніма. Надсилайте jev-preview лише за готовності до неофіційної збірки; сьогодні він указує туди само, що й jev-latest.

Записуйте response.model для кожного виклику. Це поле містить ідентифікатор версії, яка фактично відповіла, навіть якщо ви надіслали псевдонім. Зіставляйте його з requestId під час діагностики помилки 429 або неочікуваного Noul. GET /v1/models не завжди показуватиме jev-1.13.0, хоча кінцева точка його приймає.

Розраховуйте вартість лише за вхідними даними. Вихідні токени безкоштовні, тому fan-out коштує дешевше за чат-модель, яка тарифікує завершення. Цикл у стилі Doom із частотою 10 запитів за секунду та ціною $0.042/MTok — наведена під час запуску ілюстрація такої економіки. Водночас дотримуйтеся обмежень у 1,200 запитів за хвилину та 250,000 токенів за секунду й зважайте, що під час раннього доступу ці показники можуть змінитися без попередження.

Коли відділ продажів пропонує індивідуальний ліміт, він не з’явиться на цій картці, доки TypeSafe не опублікує його на docs.typesafe.ai/models. До того часу публічні значення становлять 250,000 токенів на секунду й 1,200 запитів на хвилину з чітким попередженням про можливі зміни без повідомлення. Нульове зберігання корпоративних даних — тема юридичного покажчика, а не перемикач у картці моделі.

Англійська лишається найсильнішою мовою за цією карткою. Якщо ви обробляєте заявки мовами CJK, установіть суворіші пороги впевненості й перевірте вибірку з власної черги, перш ніж відмовлятися від участі людей. Модель прийме ці символи; примітка про точність указує на потребу вимірювань, а не на приховану помилку 403.

Зміна цілі псевдоніма — це подія випуску. Коли TypeSafe випустить новий версійний ідентифікатор, знову прочитайте сторінку моделей і вирішіть, чи досі працюють ваші пороги. На цій сторінці наведено картку Jev 1.13, а не обіцянку щодо 1.14.

За цією карткою вихідні токени лишаються безкоштовними. Тому додати запитання до пакета зазвичай дешевше, ніж зробити другий генеративний виклик.