Открытые LLM не работают. И вот почему это не фигура речи

ИИ в бизнесе «не работает» — буквально: утечки, галлюцинации, отсутствие контекста. Разбираем на практике, почему открытые LLM не подходят для бизнеса.

Когда вокруг все говорят про искусственный интеллект в бизнесе, особенно про LLM, хочется не пропустить тренд. Но опыт показывает: публичные или даже self-hosted LLM в реальных задачах компаний часто не работают. Буквально.

Публичные LLM действительно умеют «думать». Они справляются с рассуждениями, подбирают слова, строят аргументы. Но всё это — в отрыве от ваших бизнес-процессов, инфраструктуры и рисков.

Как только вы хотите, чтобы модель: — не сливала данные наружу, — отвечала на реальные рабочие вопросы, — не «галлюцинировала», — работала с вашими документами, — и желательно — не стоила как ещё один проект в ИТ, всё становится гораздо сложнее.

Сценарий привычный: сотрудник что-то спрашивает у ChatGPT, не зная, что вводит чувствительные данные. Запрос летит в облако, сохраняется, попадает в модель. Даже при подписанных условиях использования — риски колоссальны.

В некоторых компаниях пробовали использовать open-source модели локально. Но развёртывание — это только полдела. Нужно обеспечить безопасность, обновления, сбор лога запросов, разграничение доступа. На практике это превращается в отдельную IT-инициативу с непредсказуемым ROI.

Публичные модели склонны «придумывать» правдоподобные, но ложные ответы. Это не баг — это часть их природы. Они предсказывают, какой текст будет выглядеть «правильным», не зная, верен ли он.

А теперь представьте: модель, уверенно объясняющая, какие требования ЦБ к защите ПДн, но ссылающаяся на несуществующий пункт нормативного документа. Или HR получает от модели шаблон приказа, не соответствующий внутренним регламентам.

Даже если вы смогли безопасно интегрировать модель, остаётся вопрос: откуда она возьмёт знания о вашей компании?

Система, не понимающая различий между СТП и Положение №38, между отделом продаж и отделом по работе с ключевыми клиентами, просто не сможет помочь сотруднику.

Только связка «LLM + корпоративные данные» с чёткой привязкой к источникам способна дать результат. На практике это реализуют через RAG (retrieval-augmented generation): модель сначала ищет информацию в ваших документах, а уже потом отвечает.

Мы в одной из команд тестировали разные варианты. И облачные сервисы, и локальные решения. В итоге полезную практику дало только одно: связка, в которой: — модель встроена в периметр, — доступ к данным ролевой, — источники цитируются, — результат — не генерация текста, а ответ, с которым можно работать.

Есть несколько решений, которые это позволяют. Мы использовали Answer Finder — не как магический ИИ, а как интерфейс доступа к знаниям: сотрудники пишут вопрос, получают ответ и видят, откуда он. Они даже могут генерить на основе внутренней базы знаний новые документы и черновики писем. Это сильно снизило количество внутренних «переспрашиваний», ускорило ответы юристов и аналитиков. И главное — не требует ежедневной ручной поддержки.

Открытые LLM — отличная среда для обучения и экспериментов. Но для промышленных задач они без доработки не работают. Потому что бизнесу нужно: — отсутствие утечек, — точные ответы, — встроенность в процессы.

И пока решения на базе публичных LLM этого не дают, использовать их в производственной среде — значит брать на себя серьёзный риск. Лучше на старте выбрать архитектуру, в которой ИИ будет частью системы, а не игрушкой на испытательном сроке.