Корпоративный ИИ-ассистент

Предлагаемый ниже текст написан в августе-октябре 2024 г. Сначала это была записка для руководства одной из ведущих ИТ-компаний, которые поначалу отказалось от идеи внедрения ИИ в свою деятельность, т.к. сочла ее непрофильной и ресурсоемкой.

Потом текст попутешествовал еще по ряду ИТ-компаний, для которых ИИ-решения уже были профильными, и реакция была во всех случаях одинаковая - "есть заказчик - давай делать".

Однако, после некоторых попыток стало понятно, что в ситуации общей неуверенности, высокой банковской ставки, неготовности рынка к коммерческим решениям такого типа... - заказчика пока не найдем. Но также выяснилось, что есть ряд крупных компаний, ИТ-подразделения которых решают подобные задачи для внутренних нужд.

В тексте многое уже надо править, но в целом идеи "не заржавели" - поэтому выкладываю как есть. Если у читателей возникнет желание тему обсудить - охотно поговорил бы.

--------------

Большие языковые модели (LLM) трансформируют привычные бизнес-процессы. Они помогают маркетологам создавать презентации, юристам готовить договоры, PR-менеджерам готовить пресс-релизы, статьи и планировать PR-кампании.

Материал отражает опыт работы автора в маркетинговых службах ИТ-компаний в качестве PR-менеджера, руководителя информационно-аналитической группы, руководителя отдела маркетинга и опыт последних лет - практического применении больших языковых моделей в задачах отдела маркетинга в ИТ-компании.

Подготовка текстовых материалов – трудоемкая задача, которая занимает значительное место во многих бизнес-процессах ИТ-компании:

1. В маркетинговых службах

2. В подразделениях, занимающихся продажами.

3. В HR-подразделениях

4. В юридических подразделениях.

5. В тендерных группах.

6. В проектных офисах.

7. …

В то же время подготовка текстов оставалась одной из наиболее сложных задач для автоматизации, т.к. процесс подготовки текстов сложно формализовать в силу наличия «творческой составляющей» и использования автором в процессе написания дополнительных знаний, связанных с предметом текста (можно назвать это «кругозором автора»).

С другой стороны, задачи подготовки бизнес-текстов – довольно стандартные. В них используется, как правило, одна и та же информация, а в результате создается типовой набор документов, чаще всего имеющих схожие структуры.

Например, тексты, которые готовятся маркетинговыми службами компании (пресс-релизы, описания продуктов, буклеты, брошюры…), в большинстве своем, имеют общую основу, которая собирается в корпоративной базе знаний и опирается на такие компоненты:

· Миссия и цели компании

· Информация о продуктах, услугах и компетенциях компании

· Описание проектного опыта компании

· Нормативная и юридическая база

· Информация о предлагаемых на рынке технологиях и решениях, тенденциях развития и запросах рынка

· …

С появлением больших языковых моделей (LLM) одна из первых задач, которые стали решать с их помощью, это – генерация текста. «LLM обучены генерировать следующий фрагмент текста с учётом некоторого входного текста. Вы можете использовать их для написания историй, создания маркетингового контента или создания кода».

Т.е. задача создания автоматизированной системы генерации бизнес-текстов стала решаемой.

(Комментарий, 2025: после появления этого инструмента писать тексты самому стало не всегда интересно. Часто интереснее придумать как заставить эту "машинку" написать то, что мне нужно. И результаты чем дальше, тем больше впечатляют, но, думаю, сегодня многих этим уже не удивишь...)

По данным исследования PressFeed 65% работников СМИ и экспертов используют нейросети в работе. И самые популярные — это сервисы для создания текстов: их применяют 71%. Это в первую очередь, ChatGPT, YandexGPT и GigaChat. Все они довольно неплохо справляются с задачами редактирования, корректуры и рерайта текста.

Но генерацией и редактированием текстов возможности LLM не ограничиваются. LLM также хорошо справляются с задачами анализа и подготовки резюме по предложенным текстовым материалам. И в этом контексте имеет смысл упомянуть, к примеру, решение задачи анализа PR-активности конкурентов и представления результатов анализа, на которую даже с использованием известным систем мониторинга СМИ уходит значительное время — дни, как правило. С использованием LLM анализ PR-активности 10-11 компаний-конкурентов за год выполняется за пару часов.

В качестве возможных варинтов решения предлагаемой задачи обычно экспертами указываются два пути: на основе (1) Open Source LLM или (2) проприетарных (Closed Source) моделей.

Популярные Open Source модели*:

Возможные Closed Source модели*:

* сегодня списки можно продолжить...

Использование открытых проприетарных подразумевает отправку данных компании за контур безопасности через API на серверы, где развернута модель.

В случае использования опенсорсных моделей встает вопрос о развертывании LLM в ИТ-инфраструктуре предприятия, дообучения её на корпоративных данных и реализации решений уже на базе этой дообученной модели. Это означает необходимость больших вычислительных мощностей (GPU-карты, которые дорого стоят) и требует отдельной команды, которая будет заниматься дообучением и развертыванием модели в контуре компании. Для проприетарных ничего этого не надо — там достаточно промпт-инжиниринга и «склеивания» частей решения между собой.

По-видимому, в конечном итоге будет использоваться некоторая комбинация моделей - каждая в своей области и на своем этапе с учетом возможностей и стоимости моделей.

ИИ-агенты или LLM-агенты (Large Language Model Agents) — это программы (обычно написанные на Python), которые используют большие языковые модели (LLM) для автоматизации процессов, требующие работы с текстовой или структурированной информацией. Агенты расширяют возможности LLM за счет интеграции с другими информационными системами для решения прикладных задач.

В отличие от, к примеру, RPA, который выполняет статические инструкции, LLM-агент динамически адаптируется, обрабатывая неструктурированные данные, анализируя контекст и взаимодействуя с пользователями в диалоговом режиме, что делает его более подходящим для сложных сценариев решения проблем и принятия решений.

Нередко эксперты не имеют времени и возможности для письменного изложения своих знаний. В таком случае перевод этих знаний в текстовый формат для дальнейшего использования в работе (например, отдела маркетинга) возможен из интервью, беседы или записи выступлений носителя знаний, например, на конференциях.

Поэтому важная составляющая корпоративного LLM-ассистента — инструмент распознавания речи (транскрибация) со структуризацией текста и предварительным редактированием.

В качестве примера ниже - возможности применения корпоративного ИИ-ассистента для автоматизации двух конкретных задач в отделе маркетинга:

В таблицах в качестве базовых примеров указано — в каких основных процессах могут быть использованы большие языковые модели для автоматизации в маркетинге. Но этими процессами возможности применения ИИ в маркетинге не ограничиваются. Это лишь некоторые стартовые точки для дальнейшего развития.

На всякий случай напишу, что, конечно же, всё, что выдаст LLM - это "сырье", отдавать заказчику это нельзя - работы оно требует. Но и жизнь облегчает, и страх чистого листа снимает, и еще много чего полезного делает.

Читайте также -

https://t.me/wdigest_media