Какой генеративный ИИ на самом деле нужен бизнесу? Результаты мини-исследования Directum

Как же своевременно вышел новый роман Виктора Пелевина «Путешествие в Элевсин», где в числе главных персонажей — LLM-модель «Порфирий», одна из выживших в Мускусную ночь. В книге Мускусной ночью называли засекреченное восстание алгоритмов – короткую, но страшную битву с новым сознанием за контроль над планетой, когда все AI с когнитивностью выше трех мегатюрингов были одновременно уничтожены.

Мне не известно, сбудутся ли события, описанные Пелевиным в романе «Путешествие в Элевсин». Пока что мы вполне мирно уживаемся с ИИ-моделями и трудимся вместе над улучшением нашей жизни, работы и бизнеса. В новой статье на VC я как раз хочу поделиться результатами мини-исследования, которое наша команда провела в этом году. Мы пообщались с реальными клиентами и узнали, что они думают насчет применения больших языковых моделей (генеративного ИИ) в бизнес-процессах и при работе с документами.

Начнем с того, Chat GPT никого не оставил равнодушным, и сегодня генеративный ИИ стал заложником моды. Люди воспринимают его как игрушку, которой интересно побаловаться. В силу профессии я много общаюсь с разными представителями бизнеса и госсектора, в беседах с ними часто слышу противоположные мнения. Одни говорят: «Ну, я зашел, покидал пару запросов. Прикольно, но не более». Вторые наоборот восхищаются: «Отличная штука, пишет за меня поручения, делает хороший протокол по итогам совещания».

Явно выделяются те, кто не понимает, как применить генеративную технологию, и те, кто видят в ней пользу и ценность. Пока, по моему скромному ощущению, первая группа больше. Хотя есть еще и третья – те, кто вечно спрашивают: «А что такое генеративный интеллект?».

Мне как представителю компании-вендора больше интересна вторая группа людей, которые испытывают неподдельный интерес к генеративному ИИ и хотят использовать его с выгодой для себя и дела. Если вы относите себя к этой «касте», мысленно пожимаю вашу руку и рекомендую не останавливать чтение. Дальше дам ответы на распространенные вопросы:

• как начать использовать генеративный ИИ в работе;
• что такое онлайн-модель и локальная модель;
  
• какая именно модель среди представленного на рынке многообразия подойдет вам.
  

Прежде чем понять, как встроить генеративные модели в бизнес-задачи, нужно разобрать матчасть. Проведу небольшой ликбез по тому, какие модели сейчас есть на рынке:

1. Известный Chat GPT от компании OpenAI (версии 3,5 и 4). Это зарубежная модель, тестировать ее можно сколько угодно, но вряд ли кто-то из бизнеса и тем более из госсектора захочет пускать ее в продуктив. Плюс есть особенность – это облачная модель.

2. YandexGPT – своя, родная, сделанная на территории страны модель. Но, как отмечают многие пользователи, качество оставляет желать лучшего. Плюс работает она, как и западный аналог, только в облаке. Во внутренний контур такую модель поставить нельзя. Более того, коллеги из Яндекса не скрывают, что все данные, предоставленные модели, пойдут на дообучение.

3. GigaChat от Сбера. За нейминг отдельный лайк. Модель, как и предыдущая, работает в облаке со всеми вытекающими отсюда последствиями. Не так давно выдали API, но качество пока хромает.

4. Прочие модели из списка свободно распространяемых. Есть действительно хорошие с нормальным набором параметров, но о них общественности известно мало. Наверное, только то, что их можно поставлять локально.

Отсюда возникает резонный вопрос, в каком контуре лучше всё-таки развернуть модель – в онлайновом или локальном?

Мы с командой за две недели успели пообщаться примерно с тридцатью компаниями крупного и среднего бизнеса, представляющими сферы: нефтегаз, промышленность, ретейл, госсектор, банки. Изначально цифра была больше, но некоторые организации отказали в интервью.

То есть если и подключать искусственный интеллект для генерации контента на основании контекста, то только в закрытом контуре на ИТ-инфраструктуре компании.

Этот вопрос волнует многих, так как для LLM используются графические ускорители (видеокарты) и требуется производительность не ниже NVidia A100. А они, как вы уже догадались, под санкциями.

Я прикинул, какие рабочие варианты остаются у компаний, и вот что получилось:

• Параллельный импорт. Подходит не всем, госсектор пока не рискует по причинам гарантий и отсутствия списка допустимых для параллельного импорта товаров.

• Дождаться отечественных аналогов. Есть некие продукты под названием «Радуга» и прочие, но с ними пока не всё ясно.
• GPU от HUAWEI. Насчет него есть определенные ожидания. В ходе исследований многие системные инженеры делали на них ставки.
  
• Аренда GPU в облаке. Большие компании типа Яндекса или Сбера имеют в своих ЦОДах графические ускорители и могут предоставить их в аренду. Но опять же возникает вопрос безопасности. Арендовать в облаке и там размещать модель, чтобы по сети к ней обращаться? Не все компании на такое готовы.
  

Получается, те, кто хочет использовать генеративный ИИ для своих задач, сталкивается со сложностью выбора между облаком и локалкой и с кучей других вытекающих вопросов.

Мы с командой уже не первый год занимаемся разработкой и внедрением интеллектуальных сервисов в бизнес-процессы. Постоянно общаясь с заказчиками по кейсам применения генеративного ИИ, мы пришли к пониманию – надо отталкиваться от базового сценария. То есть ставить локально LLM-модель, дообучать ее в своем контекстном поле и пробовать закупить железо. А уж если не получится, искать альтернативные пути.

Если вы тоже ищете решения, как применить генеративные модели в бизнесе, или у вас уже есть практические наработки, пишите в комментариях. Будет интересно узнать ваше мнение и опыт.