TypeSafe AI добавила модели принятия решений Jev зрение и длинный контекст

В новой версии (https://typesafe.ai/blog/jev-1-14) Jev 1.14 модель научилась принимать на вход изображения, искать на них объекты и работать с длинными документами.

Все три функции экспериментальные и качество в них пока слишком неровное, TypeSafe пока не рекомендует их для прода.

Включаются они отдельными заголовками запроса с пометкой Danger Zone.

Картинки можно подставлять в описание ситуации, инструкции или критерии решения.

Новый тип вопроса Box возвращает рамку вокруг найденного объекта в виде четырёх границ в долях от размеров изображения и уверенность модели, по этим координатам другая программа может, например, обрезать кадр.

Рамку Box выдаёт всегда, даже если объекта на снимке нет, поэтому присутствие объекта документация советует проверять отдельным вопросом в том же запросе.

TypeSafe признались, что Jev был мультимодальным с самого начала, но зрение не открывали, потому что любые модели хуже справляются с картинками, чем с текстом.

По умолчанию запрос ограничен 64 тысячами токенов, а в длинном режиме лимит поднимается до 262 тысяч.

В остальном 1.14, по словам TypeSafe, понемногу улучшилась почти во всём, а сильнее всего ожидается прирост в многоязычных задачах.

Jev 1.14 уже доступна под алиасами jev-preview и jev-1.14.0, а основной версией jev-latest станет 21 октября.

Цена не изменилась, 0,042 доллара за миллион входных токенов, выходные не тарифицируются.

Подробности – в документации (https://docs.typesafe.ai/models).