TypeSafe сделала ИИ, который принимает решения до 200 раз быстрее обычных LLM

Jev работает не как ChatGPT. Она не пишет ответ слово за словом, а получает данные и сразу выбирает нужный вариант из заранее заданных программой.

Например, интернет-магазину приходит сообщение «Хочу вернуть заказ, товар оказался бракованным».

Обычная LLM читает запрос, генерирует текстовый ответ, после чего программе ещё нужно разобрать этот текст и понять, что делать дальше.

Jev сразу возвращает готовое решение. Например, возврат 97%, техподдержка 2%, другое 1%.

Программа видит результат и моментально запускает сценарий возврата. Никакого промежуточного текста генерировать и разбирать не нужно.

Именно поэтому Jev настолько быстрая. Обычные LLM последовательно генерируют токены, где каждый следующий зависит от предыдущих.

Jev вообще не генерирует текст. Она вычисляет нужные значения параллельно и сразу возвращает структурированный результат.

По данным TypeSafe, это занимает примерно 70–500 мс. В отдельных тестах Jev оказалась до 200 раз быстрее и до 400 раз дешевле обычных LLM.

По сути, это ИИ не для разговоров, а для миллионов маленьких решений внутри программ.

Определить тип запроса, найти мошенническую операцию, выбрать следующий шаг агента или решить, куда отправить задачу.

Именно на таких сценариях отказ от генерации текста может дать огромный прирост скорости.