Запуск нейросетей на Java часто воспринимается как компромисс: либо JNI-обвязки, либо Python-стек, либо готовые рантаймы. Но современные JDK уже позволяют строить полноценный пайплайн инференса внутри JVM — без Python, без JNI-слоя и без лишней магии.
Хочу провести технический вебинар и показать, как на чистой Java реализовать инференс трансф…
Слово «LLM» обычно тянет за собой две ассоциации: «дорогие GPU» и «платить за токены в облаке». Но если вы строите внутренние сервисы, а не новый ChatGPT, архитектура может быть гораздо проще и дешевле: кластер из нескольких CPU‑серверов в своём периметре.
Разберёмся, что даёт такой подход на практике и как по цене одной A100 собрать кластер,…
В 2023 году мы решили добавить LLM в enterprise-продукт для интеллектуальной обработки документов (IDP). Первый прототип на Python собрали за вечер: он понимал свободные формулировки, находил скрытые связи и генерировал структурированные данные. Клиенты в восторге, команда в ударе — казалось, прорыв близко.
В 2020 году мы начали разработку приложения и бекэнда для него, а так же iot-устройства.