Jev и модели решений: ИИ выбирает следующий шаг
Jev умеет выбирать, куда отправить заявку, какой инструмент вызвать и какой документ подходит к запросу. Ответ сразу получает программа: выбранный вариант и вероятности. Такой ИИ полезен там, где постоянно приходится принимать небольшие решения — в поиске, поддержке и автоматических помощниках.
Как это работает
Jev — модель TypeSafe AI, представленная в сентябре. Компания называет этот класс System One: модели для быстрых, ограниченных по смыслу решений. Jev — конкретный продукт; у других разработчиков появились свои модели того же направления.
На вход поступают данные, вопрос и допустимые ответы. Например, письмо клиента и варианты «оплата», «техническая проблема», «покупка». Модель оценивает варианты, а программа отправляет письмо в нужную очередь. Если результат неоднозначный, обработку можно передать человеку или более сильной модели.
У Jev три формы ответа:
- Choice — выбрать вариант из списка.
- Score — оценить по шкале с описанными уровнями, например серьёзность ошибки.
- Noul — вернуть вероятность ответа «да» на конкретный вопрос.
Модель обучают оценивать вероятность корректно: уверенный ответ должен чаще оказываться верным. TypeSafe называет этот подход RLCD. Это не делает Jev безошибочной, но даёт программе сигнал, когда результат стоит перепроверить.
Где это полезно
- В поиске: оценивать, какие найденные документы действительно отвечают на вопрос.
- В поддержке: распределять обращения и отмечать срочные сообщения.
- В ИИ-агенте: выбирать подходящий инструмент из доступных или решать, нужен ли дополнительный запрос к большой модели.
- При проверке контента: оценивать, подтверждает ли источник тезис, и отправлять спорные случаи на разбор.
Экономия появляется, когда такие проверки выполняются часто: часть коротких решений можно вынести из большого разговорного ИИ. Для генерации статьи, кода или сложного плана по-прежнему нужна модель, которая умеет создавать текст и рассуждать.
Какие модели уже есть
- TypeSafe Jev 1.13. Готовый облачный API для текстовых решений и нескольких вопросов к одним данным; картинки не принимает. Лучше всего работает на английском, поэтому точность на русском требует отдельной проверки.
- OpenAI Decisions API. API на базе Luna: контекст может содержать текст или картинки, ответы задаёт разработчик. На дату обзора официальный анонс указывает ограниченный доступ; это отдельный API, а не переключатель в ChatGPT.
- Perplexity PPLX Decider V1 27B. Принимает текст и изображения; доступен через Decisions API и с открытыми весами. Подходит для проверки материалов и распределения запросов. Сам этот API не выполняет веб-поиск.
- Intern-Decision. Открытая линейка InternLM: 0.8B, 2B и 4B. Версия 4B поддерживает изображения и возвращает оценки заданных вариантов за один проход модели. Полезна для локальных экспериментов с решениями по тексту и скриншотам.
- AutoTrust JEV-27B и JEV-27B-VL. Открытые модели с двумя режимами: быстрый выбор и полноценное рассуждение с генерацией текста. VL добавляет изображения. Интересны, когда оба режима нужны на собственном сервере.
- Laya. Компактное открытое семейство с английской и многоязычной версиями. Подходит как основа для обучения под свои короткие задачи; авторы прямо предупреждают о слабых результатах базовых моделей на части новых задач без дообучения.
Как попробовать
Самый простой старт — официальный Playground TypeSafe: работа идёт с данными и вопросами, программировать для первого знакомства не нужно. Также модель есть на Openrouter
- В поле State добавляется короткий текст или запись с нужными данными.
- Создаётся один вопрос: например, к какой категории относится обращение. У каждого варианта должно быть понятное описание; полезно предусмотреть «другое».
- Проверяется ответ и распределение вероятностей. Для оценки качества нужны примеры с заранее известными правильными решениями, в том числе неоднозначные.
- Для автоматизации подключается API. В коде задаются дальнейшее действие и условия передачи на проверку.
С открытыми моделями запуск сложнее: нужны зависимости и подходящее оборудование. Для опубликованного примера Perplexity требуется около 49 ГБ памяти только под веса, плюс запас для работы. Небольшие Intern-Decision и Laya легче по размеру, но требования стоит смотреть у конкретной версии.
По документации TypeSafe, Jev стоит $0,042 за миллион входных токенов; Perplexity Decisions API — $0,04. Выход у обоих не тарифицируется. Это цена обработки входного текста, а не миллиона решений: длинные документы увеличивают расход.
Что нужно учитывать
Правильная форма ответа не гарантирует правильный выбор. Неточная формулировка или неполный список вариантов способны испортить результат; высокая вероятность тоже не служит доказательством. Пороги автоматического действия подбираются на своих примерах, отдельно для каждой модели.
У Jev есть известные трудности с арифметикой, датами и многошаговыми задачами. Расчёты и права доступа лучше оставлять обычному коду. Модель предлагает решение, а программа определяет, что разрешено выполнить.