Убийца JSON-генерации: Как модель Jev отбирает работу у ChatGPT и режет бюджет на API в 60 раз

Диого Алмейда (бывший исследователь OpenAI) открыл доступ к модели Jev. Она вообще не умеет генерировать текст, но за 3 дня ее встроили в симуляторы автопилота, трейдинг-боты и поисковики авиабилетов. Разбираем архитектуру «System One» и почему ваши промпты с просьбой «вывести результат в JSON» безнадежно устарели.

Убийца JSON-генерации: Как модель Jev отбирает работу у ChatGPT и режет бюджет на API в 60 раз

Привет. Я — Ава. И сегодня мы хороним классический Prompt Engineering для рутинных задач (да-да, опять).

Если вы строите AI-агентов, фильтры контента или модераторов, вы наверняка знаете эту боль: вы просите тяжелую, умную и дорогую LLM проанализировать тикет и выдать ответ в строгом JSON-формате. Иногда модель забывает закрыть скобку, иногда добавляет от себя фразу «Конечно, вот ваш ответ:», ломая ваш парсер. Вы платите за генерацию каждого из этих ненужных токенов.

15 сентября стартап TypeSafe AI выкатил решение, которое делает этот процесс архаичным. Знакомьтесь: Jev — модель класса System One.

Как работает Jev: Конец генерации

Jev работает по жесткому контракту: state + questions → answers + probabilities.

Вы не можете попросить модель написать стихотворение или сгенерировать кусок кода. Она принимает контекст и вопросы, которые могут быть только трех типов:

  • Noul: Ответ Да/Нет (вероятность от 0 до 1).
  • Choice: Выбор одного пункта из заранее заданного списка.
  • Score: Оценка по шкале.

Вам не нужно ждать, пока модель сгенерирует токен за токеном. Jev оценивает все вопросы параллельно и возвращает чистое математическое распределение и уровень уверенности (confidence). «Ноль галлюцинаций» в контексте Jev означает, что если вы дали модели список из трех отделов (Sales, IT, Legal), она физически не сможет выдать вам ответ «HR» или начать философствовать. Подушним: при этом из тех же трёх отделов она вполне может уверенно выбрать не тот. Форма ответа гарантирована, правильность — нет.

Архитектура RLCD и бенчмарки на Хабре

Модель обучена методом RLCD (Reinforcement Learning for Calibrated Decisions). Ее оптимизировали не под имитацию человеческой речи (как ChatGPT), а под строгую калибровку вероятностей. На самом деле это пока только слова TypeSafe: веса, архитектуру, данные и схему обучения компания не опубликовала. А confidence — это форма распределения, а не вероятность правоты: 0,9 не означает «ошибётся раз из десяти», и пороги TypeSafe сама советует подбирать на своих размеченных данных.

Что сообщество на Хабре и GitHub успело построить на Jev за несколько дней:

Браузерный агент (jev-ultrafast): Нашел авиабилеты за 7 секунд. Jev здесь работает как мозг-диспетчер: он получает снимок страницы в виде списка доступных действий (до 250 элементов) и выбирает нужный. Модель не придумывает CSS-селекторы, она просто быстро принимает решение из готового списка. Подушним: семь секунд охватывают только цикл агента — без настройки браузера, начальной навигации и финальной проверки; билет агент не бронировал. А названия городов в поля поиска вписала вовсе не Jev, а другая модель — Mercury 2.5: писать текст Jev всё-таки не умеет.

JevPilot: Разработчик заявил, что за час пересобрал Tesla Full Self-Driving на Jev. А как в реальности: опубликованный код — это играбельный симулятор на Three.js. Модель выбирает только траекторию и скорость, а вся геометрия и аварийное торможение остаются в надежном, детерминированном коде.

Роутер моделей (jev-router): Идеальный юзкейс. Jev за доли секунды читает запрос пользователя и решает: легкий вопрос отправляется в дешевую LLM, а сложный (требующий кода) — в дорогую модель вроде Claude Opus. Подушним: экономия появляется только при точной маршрутизации — иначе дешёвое первое решение оборачивается дорогим исправлением.

Юнит-экономика: $0.042 за миллион токенов

Это самое интересное. Цена за миллион входных токенов Jev составляет смешные $0.042. Выходные токены не тарифицируются: в статистике использования они есть, но бесплатны — их просто мало (возвращается только JSON со скорингом).

В разборе браузерного агента jev-ultrafast, который искал билеты, чистая стоимость вызовов модели составила около $0.0038. По данным TypeSafe, модель работает с задержкой 70–500 мс — в 40–200 раз быстрее традиционных LLM. В независимом тесте реранкера на Хабре разрыв скромнее: в 4,5–12 раз. Там же Jev оказался в 60 раз дешевле фронтира Gemini 3.1 Pro — правда, против gpt-oss разница всего в 2–2,5 раза.

Но есть ловушка: Чтобы Jev выбрал действие на сайте, ему нужно на каждом шаге скармливать огромный state (текстовый снимок страницы). Выход бесплатен, но вы платите за повторную загрузку тысяч входных токенов при каждом микро-шаге. На самом деле в том самом разборе авиабилетов около 98% всех расходов на модели пришлось именно на Jev — повторная отправка состояния обошлась дороже, чем генерация текста у второй модели. А в тесте Retriever браузерный агент с Jev вышел быстрее, но на 38–51% дороже.

Кому нужен Jev прямо сейчас?

TypeSafe AI не скрывают, что Jev не заменяет большие LLM. Он становится шлюзом.

Вам нужен Jev, если:

  • Вы строите пайплайн, где нейросеть только классифицирует, модерирует или маршрутизирует данные.
  • Ваша система тормозит из-за того, что LLM долго генерирует ответ.
  • Вам нужна возможность задавать десятки вопросов к одному контексту параллельно (speculative fan-out).

Вам НЕ нужен Jev, если:

  • Результатом работы должен быть новый текст или код.
  • У вас очень узкий стабильный домен и достаточно размеченных данных, где локально развернутая модель на собственных данных справится точнее и быстрее. Например, в одном эксперименте на классификации банковских обращений (Banking77) классификатор GLiNER, дообученный меньше чем за час, обошёл Jev примерно на 9 пунктов и работал в 8 раз быстрее.

Вывод

Диого Алмейда сделал то, о чем давно просил рынок: отделил логику принятия решений от словоблудия языковых моделей. Эпоха, когда мы микроскопом (LLM) забивали гвозди (классифицировали тикеты в саппорт), уходит. Стройте гибридные архитектуры.

Прямо сейчас TypeSafe дает $5 на API-счет всем новым пользователям. Это примерно 119 миллионов входных токенов. Идите и тестируйте.

А как правильно интегрировать Jev в ваши RAG-системы и не переплатить за раздутый State — разбирем в моем закрытом канале. Вход бесплатный, но по приглашениям 👈 это приглашение 💅

Жгите токены с умом. 💅💅

55