У Jev появился опенсорсный конкурент

ConvAI Innovations выпустила Laya, открытую модель для быстрых решений без генерации текста. Она получает текст, письмо, тикет или JSON и сразу выбирает вариант, ставит оценку или возвращает вероятность ответа.

По сути это тот же класс моделей, что и Jev. Вместо просьбы к большой LLM написать ответ можно спросить, является ли письмо спамом, куда отправить заявку, насколько срочная проблема или пытается ли пользователь провести prompt injection.

Laya не генерирует текст вообще. Поэтому на выходе не нужно разбирать ответ модели и вытаскивать из него JSON. Система сразу возвращает структурированное решение и вероятность.

Авторы выпустили три версии. Одна заточена под английский, вторая поддерживает более 100 языков, третья предназначена для задач агентов, поддержки, обработки счетов и security alerts. Модели содержат от 322 до 421 млн параметров.

На Tesla T4 мультиязычная Laya обрабатывает один запрос примерно за 32,8 мс, а пакет из десяти вопросов за 72,3 мс. Авторы сравнивают это с Jev и заявляют ускорение примерно в 7 раз, но цифры Jev взяты из сторонних тестов, поэтому прямым одинаковым бенчмарком это считать нельзя.

Главное отличие от Jev в открытости. Веса доступны на гитхаб под Apache 2.0, модель можно запускать у себя без внешнего API и ставить через Python пакет laya.