Искусственный интеллект и цифровые советники. Часть 2: Как устроено и что не так?

Продолжаем цикл статьей про цифровых советников и искусственный интеллект. Первая статья доступна тут, а третья тут.

Как же работают цифровые советники? Конечно архитектур может быть огромное количество. Но, условно, их можно разделить на несколько компонентов.

Это могут быть корпоративные ИТ-системы, устройства IoT и АСУ ТП. Также это могут и внешние источники, в том числе из сети Интернет. А может и просто интерфейс пользователя, в котором он отвечает на тестовые вопросы, формулирует запрос, как например в чат-боте.

Это может быть хранилище или озеро данных с инструментами их обработки и визуализации. Если мы говорим про большую и серьезную СППР, то в ее основе почти всегда будут лежать Большие Данные.

Также в основе любого анализа лежит некая модель. Она может быть разной степени упрощения и базироваться на разных компонентах. И весь анализ будет проводиться на основе этой модели.

Методы обработки данных, могут быть различными, но последние тренды использование методов машинного обучения (нейросети, дерево решений, метод опорных векторов, метод k-ближайших соседей) и в частности глубокого обучения (сверточная нейронная сеть, рекуррентная нейронная сеть, глубокая сеть доверия, генеративно-состязательная сеть, трансферное обучение и глубокое обучение с подкреплением).

Второе направление в виде экспертных систем на основе правил имеет ключевое ограничение — отсутствие гибкости и высокие трудозатраты на создание математических моделей. То есть, Вам сначала вручную описать математическую модель, создать правила, а затем, если что-то будет меняться (структура данных, внешняя обстановка) , корректировать такие системы будет крайне сложно.

Это тот интерфейс, в котором пользователь взаимодействует, где получает аналитику и рекомендации, происходит визуализация графиков.

Ниже приведем визуализацию типовой системы.

Если кратко, то:

Если говорить о моделях ИИ, то здесь мы сталкиваемся со всеми ограничениями ИИ, которые мы подробно рассмотрели тут и тут. Кратко рассмотрим их ниже.

Для обучения ИИ-моделей нужно очень размеченных и структурированных данных. И на данном уровне развития технологии идет разрыв между тем, что хотят видеть в крупных компаниях, и тем что возможно сделать. В компаниях просто нет того количества размеченных данных, которое нужно для создания качественных решений. При этом сами компании относятся к своим данным ревностно и не хотят ими делится с рынком и разработчиками. Хотя, давайте будем честны, ценного там мало.

В итоге хотим много, а данных нет или нет, или это болото, которое непригодно для обучения ИИ.

Так как корпорации хотят сразу комплексных решений и еще на своих серверах, то мы сталкиваемся с тем, что любые ИИ-проекты имеют ценники в сотни миллионов, и окупить такое решение будет крайне проблематично.

Давайте разберем несколько факторов, которые влияют на ценообразование.

- Размещение во внутренних ЦОДах

Экономика ИТ-решений довольна проста, и разберем ее на практическом примере из нашего опыта. Если мы хотим использовать SaaS-решение, то на внедрение нужно 2 млн на оборудование и по 20 тысяч в месяц за использование ИТ-платформы. Но стоит нам решить внедрять у себя в ЦОДе с выкупом лицензий, то внедрение уже будет стоить 2 млн на оборудование и 7 млн за лицензию на программное обеспечение. Плюс еще 20% от 7 млн ежегодно за техподдержку и установку обновлений. Простая арифметика говорит, что надо 9 млн на старт и еще по 116,6 тысяч в месяц на техподдержку и обновления. Так устроен рынок ИТ-решений.

- Разработка комплексных решений

Давайте разберем пример с нашим цифровым советником, и почему для него актуальна B2C стратегия.

Во время продуктовых исследований мы столкнулись с тем, что любая компания, даже вообще без проектной культуры не готова брать готовое решение на основе международной методологии. Все хотят, чтобы продукт дорабатывался под их процессы и регламенты. В итоге вместо 1000 рублей в месяц с пользователя мы получаем необходимость формирования команды бизнес-аналитиков, разработчиков и методологов под заказчика. В итоге цикл внедрения будет в 3-12 месяцев и бюджет от 5 млн рублей.

Ну а дальше, после многомиллионного внедрения нужно обеспечивать работу ИТ-инфраструктуры. А любые ИИ-решения сейчас требуют мощного и дорого оборудования, которое в том числе требовательно к климатическим условиям помещений, где оно работает (вентиляция и другие инженерные системы отдельная боль любого центра обработки данных).

Одна из ключевых проблем генеративного ИИ (подготовка рекомендаций по факту и есть генеративный ИИ) в том, что он легко может галлюцинировать, то есть создавать ложный или некорректный контент.

Например, специалисты инженерной школы Тандона Нью-Йоркского университета решили проверить ИИ-помощника Copilot от Microsoft с точки зрения безопасности. В итоге, они обнаружили, что примерно в 40% случаев код, сгенерированный помощником, содержит ошибки или уязвимости. Подробная статья доступна по ссылке.

Еще один пример использования Chat GPT привел пользователь на Хабре. Вместо 10 минут и простой задачи получился квест на 2 часа.

Также, например, попробуйте любого чат-бота описать менеджера pAei-профиля по Адизесу. Вы очень удивитесь написанному. И это мы не говорим, например, про случай pAeI-профиль.

То есть за любой ИИ-моделью нужно перепроверять. И снова мы приходим к тому, что нужно быть экспертом в теме, чтобы оценить корректность контента и использовать его. А нужен ли менеджерам такой инструмент? И здесь мы переходим к следующей проблеме.

Ключевой вопрос, который предстоит преодолеть любым советникам — а кто несет ответственность за итоговые решения? Ведь любой корпоративный менеджер хочет снять с себя ответственность и минимизировать риски. Ему нужен инструмент, который гарантирует результат. Их не устраивают рекомендации, на которые в случае провала нельзя сослаться.

Кроме того, особенность ИИ-моделей на основе нейросетей в том, что даже создатели не понимают ее алгоритмов. Да, в отличии от экспертных систем ИИ-решения на основе машинного и глубокого обучения способны поражать самообучения, но непонимание логики работы корпоративным руководителям не внушает доверия. Да и сами разработчики не могут ничего с этим сделать. В итоге вопрос ответственности за рекомендации становится краеугольным.

Решения на базе нейросетей и машинного обучения уязвимы как и любое ИТ-решение. Только в случае со сложными ИИ-системами эти уязвимости носят не столько технологический характер (условные дыры, через которые можно войти), а логические. То есть надо искать логические несоответствия в решениях. И если компанию захотят атаковать, то такая система будет одной из приоритетных целей для атак. Ведь с ее помощью можно не просто украсть данные, но и ввести руководство в заблуждение и оно примет неверные решения, или спровоцировать систему управления остановить производство.

Как пример можно привести игры с изображениями. Исследователи могут изменить отдельные пиксели и нейросеть видит вместо собаки вертолет, вместо машины медведя. Тоже самое может быть и с рекомендательными системами — злоумышленники внесут коррективы в данные, и вместо увеличения мощностей вы примете решение о необходимости продавать бизнес. Пример, конечно утрированный, но смысл понятен.

В итоге мы получаем целый ряд факторов:

В итоге какой ТОП-руководитель согласиться на это инвестировать миллионы в такое решение?

Да, СППР без ИИ тоже дороги в разработке. Все по причине того, что требуется создание сложных математических моделей, или как сейчас принято их называть — цифровых двойников. А с учетом того, что такая модель должна имитировать реальный объект / процесс с погрешностью не более 5%, то тут нужны сложные алгоритмы. Соответственно на это нужно время и команда профессионалов, которые стоят очень и очень дорого.

Да, высокоточные модели на базе правил не менее требовательны к оборудованию и вычислительным мощностям. Ярким примером являются MES-системы, которые должны в реальном времени обрабатывать огромные массивы данных и готовить рекомендации по оптимальной загрузке производства.

Мы все с Вами понимаем, что бизнес-процессы и параметры оборудования невозможно зафиксировать. Процессы меняются, оборудование обновляется / выходит из строя, и в целом мы живем в VUCA / BANI-мире. А значит и требования могут меняться. При этом любая доработка и корректировка такой системы будет отдельным проектом.

Для систем на основе правил также актуален вопрос ответственности за рекомендации. Кто будет отвечать за некорректные рекомендации? Эксперт, который даже не работает в компании? Разработчик, который не смогу все описать? Аналитик, который не смогу разобрать любой возможный сценарий?

Ключевое ограничение экспертных систем — они работают только на основе тех правил, которые вы заложили в нее. Теперь возникает вопрос — а достаточная ли точность модели была? А на основе чьих правил она работает? Давайте посмотрим на пример нашего цифрового советника, и почему мы его делаем на основе ИИ?

В мире существует огромное количество методологий управления проектами и подходов к их реализации. А также у каждого эксперта свое видение. Соответственно, если мы делаем модель на основе одной методологии, то кто гарантирует, что именно она правильная?

При этом, мы можем делать его на основе нейросетей. И допустим мы добавляем модуль оценки проекта (как на схеме ниже). Например, через сбор обратной связи от заинтересованных сторон и данных о сроках и бюджете с учетных систем. В таком случае система будет учиться и со временем система научиться выбирать оптимальный подход и набор рекомендаций для реализации проекта. Никакая экспертная система на основе правил на такое не способна.

Любая СППР ориентируется на данные. То есть это реализация data-driven подхода.

Мы подробно разбирали разные стратегии принятия решений с использованием данных в статье Data-driven или data-informed: почему цифра не заменит человека? Здесь же напомним ключевые недостатки data-driven:

Data-Driven не дает места креативности и разным точкам зрения.

Данные могут ответить качественно только на те вопросы, которые были изначально заложены на этапе проектирования.

Data-driven подход не учитывает экспертные знания и опыт

Создать абсолютно объективный набор метрик практически невозможно, в любом случае взгляд менеджера найдет отражение в наборе метрик

Data-driven плохо учитывает человеческий фактор: эмоции и чувства, субъективное мнение

Data-driven требователен к качеству исходных данных и проработке нормативно-справочной информации.

И хотя вся современная наука о менеджменте старается уйти от фактора человека, но это все равно утопия. В основе любых успешных компаний и проектов идет сочетание человека и системы. И data-driven не подходит для высокоуровневых решений — принятия решений о запуске продуктов, их развитии, разработке стратегий. И даже в технологических гигантах идет разделение на data-driven, data-informed и data-inspired подходы:

- Data-driven (решение на основе данных) для решения повседневных/оперативных задач или в условиях стабильности, т. е. для принятия 80% всех решений. Это инструмент оперативного управления и планирования / контроля.

- Data-informed (решения с учетом данных) при создании новых продуктов, работе с людьми и планировании ближайшего будущего. Это инструмент тактического управления и планирования.

- Data-inspired (поиск идей в данных) для создания стратегий и поиска новых ниш. Это инструмент стратегического управления и планирования.

Ниже приведены примеры использования разных стратегий.

Попытка все переложить на советников в долгосрочной перспективе приведет к тому, что в компании исчезнут управленческие компетенции. Все станут слепо доверять советникам. И в будущем, когда нужно будет в условиях неопределенности и кризиса принимать решения, перепроектировать советника, компания уже не сможет этого сделать. Компания окажется уязвимой и зависимой от внешних консультантов и разработчиков, которым на одну отдельную компанию будет глубоко безразлично.

Развитие ИТ-сервисов и цифровых советников будет увеличивать количество информации, которую надо будет обрабатывать руководителю. А уже сейчас информационный поток превышает возможности нашего мозга и сознания ее эффективно обрабатывать. В итоге это будет приводить к расфокусировке и может усложнить принятие решение, особенно с учетом факторов выше.

При всех возможностях цифровых инструментов люди все равно будут сопротивляться их внедрению. Мы подробно разбирали внедрение изменений тут, но если кратко, то:

- люди не понимают, как это работает, и многие не понимают и как этим пользоваться;

- люди бояться потерять работу, власть и влияние, особенно этим вопросом зададутся менеджеры: "А зачем здесь я, если будет робот все оценивать и принимать решения?"

- цифровым инструментам уже не один год, и многие решения не оправдали надежд, а это формирует культуру недоверия.

Различные цифровые советники могут давать взаимоисключающие1рекомендации. Например, финансовый советник скажет срезать операционные затраты и отказаться от инвестиций, а советник по цифровизации даст рекомендации инвестировать искусственный интеллект и интернет вещей. Какое решение в итоге принимать?

При всех потенциальных возможностях СППР или цифровых советников, перед ними стоят сложные и фундаментальные как технологические вызовы, так и организационные.

Причем сложно понять, какие из вызовов более сложные для решения. И, вероятнее всего, прорывное развитие этого направления не следует ожидать в сегменте крупных корпораций. Туда СППР придут уже зрелыми и отработанными, когда они уже станут стандартом в нашем обществе. А вот что делать и куда идти мы обсудим в следующей статье.