Слово «LLM» обычно тянет за собой две ассоциации: «дорогие GPU» и «платить за токены в облаке». Но если вы строите внутренние сервисы, а не новый ChatGPT, архитектура может быть гораздо проще и дешевле: кластер из нескольких CPU‑серверов в своём периметре.
Разберёмся, что даёт такой подход на практике и как по цене одной A100 собрать кластер,…
В 2023 году мы решили добавить LLM в enterprise-продукт для интеллектуальной обработки документов (IDP). Первый прототип на Python собрали за вечер: он понимал свободные формулировки, находил скрытые связи и генерировал структурированные данные. Клиенты в восторге, команда в ударе — казалось, прорыв близко.
В 2020 году мы начали разработку приложения и бекэнда для него, а так же iot-устройства.