Модель за $42 с миллиарда токенов не умеет говорить. Это главная ИИ-новость недели для всех, кто платит за агентов

Меня зовут Карим, я занимаюсь автоматизацией в NODA, и на этой неделе самая читаемая новость подсайта — про модель, с которой нельзя поговорить. Jev от TypeSafe не пишет текст вообще: на вход подаётся состояние и список вопросов с типом ответа, на выход приходят вероятности. Цена $0,042 за миллион входных токенов, выходные бесплатно. Разбираю в шести карточках: что случилось, почему шум, где подвох, что это меняет в деньгах и что делать завтра, даже если доступа к Jev у вас не будет никогда.

Короткий ответ: главное в этой новости не модель, а разделение. Агент тратит токены на два разных дела: думать текстом и принимать решения, куда направить, звать ли человека, безопасно ли действие, готов ли результат. Второе до сих пор оплачивалось по цене первого. Jev стал первым громким продуктом, который берёт за решения отдельно и в сотни раз дешевле. Даже если вы никогда не вызовете его API, считать эти шаги отдельно стоит начать сейчас.

TypeSafe AI, лаборатория из Сан-Франциско, вышла из стелса 15 сентября с посевным раундом $40 млн; основатель Диогу Алмейда раньше руководил направлением RLHF в OpenAI. Первый продукт Jev, модель «первой системы» по Канеману: быстрые суждения, которые человек делает за пару секунд. 14 октября вышла версия 1.14: экспериментальный ввод картинок, тип ответа «рамка» (координаты объекта на изображении) и контекст до 262 тысяч токенов — все три функции сам вендор называет не готовыми к продакшену. Доступ по листу ожидания.

Три типа вопросов. «Какой из»: выбор из вашего списка. «Сколько баллов»: оценка по шкале, которую описали вы. «Да или нет»: вероятность, что утверждение верно. Ответить чем-то вне списка модель не может по устройству API, отсюда маркетинговое «ноль галлюцинаций»; по устройству, а не по замерам, и это важная оговорка.

Главное слово здесь калибровка. Модель обучали так, чтобы вероятность 0,9 сбывалась примерно в девяти случаях из десяти. Это превращает ответ в число, на котором можно строить пороги: при высокой уверенности действовать, при средней переспросить, при низкой отдать человеку. Если вы читали мою статью про права агента, это ровно корзины по обратимости, только с датчиком внутри.

Цена и скорость: $42 за миллиард входных токенов, выход бесплатно, 70–500 миллисекунд на ответ. Вендор заявляет до 193 раз быстрее и до 444 раз дешевле фронтирных моделей на своём наборе задач. Из подтверждённых применений: Vercel использовала Jev как классификатор безопасности вместо большой модели.

Бенчмарки вендорские, сравнения только с открытыми моделями, числовой таблицы нет, и TypeSafe сама признаёт, что сравнение может быть в её пользу.

Русский язык не замерял никто: основной язык обучения английский, остальные вендор советует проверять. Для бота, который читает обращения на русском, это условие, а не сноска в документации.

Калибровку придётся проверять на своих данных. В одном из независимых тестов вопрос «вы бот?» дал 0,26 там, где документация обещала 0,40. Одна точка ничего не доказывает, но расхождение в 14 пунктов значит, что пороги подбираются на собственной размеченной выборке, а не берутся из доков.

Лимиты меняются на ходу: за неделю в документации квоты упали в несколько раз. Серверы на западном побережье США, так что задержка из Европы и России будет выше заявленной, а главное, обращения клиентов поедут за границу. Для многих российских компаний на этом пункте разговор про Jev заканчивается до начала, и это нормально: идея переживёт продукт.

И последнее: цена. Выходные токены бесплатны, вход в десятки раз дешевле самых дешёвых языковых моделей, и доказать, что это не субсидия посевного раунда, пока нельзя.

В статье про стоимость операции я предлагал считать цену одной завершённой операции вместо токенов. Jev меняет числитель, и вот как.

Возьмите агента поддержки. Одна операция, то есть закрытое обращение, это, скажем, пять шагов-решений (куда направить, типовое ли, нужен ли человек, безопасно ли действие, закрыт ли вопрос) и один-два шага-текста (ответ клиенту). Каждое решение сегодня делается большой моделью, которая перечитывает весь диалог: три тысячи токенов контекста умножить на пять решений дают пятнадцать тысяч входных токенов на операцию только ради «да/нет».

Считаем на ценах, которые есть в открытых источниках. Самая дешёвая из больших моделей в сравнении у самого TypeSafe стоит $0,30 за миллион входных: пятнадцать тысяч токенов стоят $0,0045 на операцию. У Jev $0,00063. Разница в семь раз на доле решений; доля текста остаётся как была. На тысяче операций в месяц это $4,5 против $0,6, вы не заметите. На ста тысячах уже $450 против $63 в месяц, и это только входные токены, без выходных, которые у языковых моделей стоят в разы дороже входных, а у Jev не стоят ничего. Вывод тот же, что в статье про точку безубыточности: экономика решает на объёме. Малому потоку Jev не нужен; большому нужен скорее не сам Jev, а разделение, о котором следующая карточка.

Разделить. Пройти по журналу агента и пометить каждый вызов модели: это текст или решение. Решения это всё, где ответ умещается в «какой из», «сколько» или «да/нет». У большинства агентов, которые я видел, решений больше половины, и все они идут через ту же модель, что пишет письма.

Вынести решения в отдельный слой с порогами. Не обязательно в Jev: это может быть маленькая открытая модель на своём сервере, которая умеет только классифицировать по-русски, или дешёвый вызов большой модели с жёстким форматом ответа. Важно, чтобы решение принималось отдельно, стоило отдельно и возвращало число вместо абзаца; чем именно оно принимается, вопрос второй.

Проверить калибровку на сотне размеченных примеров, прежде чем доверить порогам действие. Это та же выборочная проверка, что в статье про права агента, только до запуска, а не после.

Оставить необратимое за человеком при любой уверенности. Калиброванная вероятность 0,99 на «удалить» не отменяет того, что удаление — третья корзина; она лишь говорит, что человек подтвердит быстро.

Не отправлять обращения клиентов за границу ради экономии $4 в месяц. Если поток такой, что экономия заметна, у вас уже есть бюджет на локальный слой решений.

Первое. Я продаю внедрение агентов, и мне выгодно, чтобы их экономика выглядела улучшаемой. Цифры Jev вендорские, пример с пятью решениями модельный, пока не подставлена наша доля из журналов.

Второе. Разделение решений и текста можно было сделать и раньше, без Jev, и часть команд его давно сделала. Новость в том, что это стало отдельным продуктом с отдельной ценой, и спор о цене решений теперь не абстрактный.

Третье. Если цена окажется субсидией, через год Jev будет стоить как все. Архитектура из пятой карточки от этого не пострадает: она считает решения отдельно при любом ценнике.

Вопрос к тем, у кого агенты уже работают: вы знаете, какая доля вызовов модели у вас приходится на решения, а не на текст? И чем вы их принимаете сейчас: той же моделью, что пишет, или чем-то отдельным?