ИИ в вашей компании - как масштабировать?

Привет, меня зовут Нина, я продуктолог AI Consult, сегодня хочу поделиться переводом статьи Harvard Buisness Review.

Статья дала мне много инсайдов и неочевидных подсказок о том, как наиболее эффективно использовать ИИ для автоматизации. Спойлер: оказалось, внедрения и использования самого инструмента недостаточно.

Искусственный интеллект больше не является эксклюзивным инструментом цифровых компаний типа Amazon, Netflix или Uber. Например, компания Dow Chemical недавно использовала машинное обучение, чтобы ускорить процесс исследования и разработки полиуретановых составов в 200 000 раз — с 2–3 месяцев до всего 30 секунд. И это далеко не единственный пример.

Недавний отчет Deloitte показывает, что компании из совершенно разных секторов используют ИИ для повышения ценности бизнеса. Неудивительно, что Gartner прогнозирует, что более 75% организаций перейдут от тестирования технологий искусственного интеллекта к их полному внедрению к концу 2024 года. И именно здесь начинаются настоящие вызовы.

ИИ наиболее ценен, когда он применяется в больших масштабах. Для бизнес-лидеров, которые хотят максимизировать ценность бизнеса при помощи ИИ, масштаб означает, насколько глубоко и широко ИИ интегрирован в основной продукт или услугу, а также бизнес-процессы организации.

К сожалению, масштабировать ИИ в таком формате непросто. Есть большая разница между интеграцией одной-двух моделей ИИ в продукт и запуском и ведением всего продукта и производства на основе ИИ. Также надо понимать, что при масштабировании использования ИИ, могут масштабироваться (и часто так и происходит) его проблемы.

К примеру, одна финансовая компания потеряла 20 000 долларов за 10 минут из-за того, что одна из ее моделей машинного обучения выполнила некорректные действия. Компания не имела возможности понять причину проблемы и даже не могла определить, какая из моделей неисправна, поэтому не оставалось иного выбора, кроме как отключить ИИ-процессы. Все модели были возвращены к гораздо более ранним итерациям, что серьезно снизило производительность и свело на нет недели усилий.

Сейчас организации, которые серьезно подходят к внедрению ИИ стали развивать новую дисциплину - MLO (Machine Learning Operations) или операции с машинным обучением. MLO стремится внедрить лучшие практики и инструменты для быстрой, безопасной и эффективной разработки и внедрения ИИ. При правильной реализации, MLO могут значительно ускорить вывод продукта на рынок. Внедрение MLO, разумеется, требует больших временных и ресурсных инвестиций в три ключевые области: процессы, люди и инструменты.

Создание моделей и алгоритмов, лежащих в основе ИИ, — это творческий процесс, требующий постоянных доработок и усовершенствований. Специалисты по обработке данных готовят данные, создают функции, обучают модель, настраивают ее параметры и проверяют ее работу. Когда модель готова к использованию, инженеры-программисты и ИТ-специалисты вводят ее в эксплуатацию, постоянно отслеживая выходные данные и производительность, чтобы гарантировать стабильное функционирование модели в рабочей среде. И наконец, команда управления должна контролировать весь процесс, чтобы гарантировать, надежность создаваемой ИИ-модели с точки зрения этики и соответствия требованиям.

Учитывая всю сложность этого процесса, первым шагом к масштабированию ИИ является стандартизация: способ создания повторяемых моделей и четко определенный процесс их практической реализации.

В этом смысле создание ИИ сильно напоминает производство: первая модель, которую производит компания, всегда изготавливается на заказ; масштабирование производства для получения большого количества ИИ-моделей и последующая непрерывная оптимизация их создания — это и есть повторяемый процесс разработки и производства становится, который необходим. Но в случае с ИИ многие компании не справляются с этим процессом.

В целом, достаточно очевидно почему. Индивидуальные процессы по своей природе чреваты неэффективностью. Однако многие организации попадают в ловушку, изобретая велосипед каждый раз, когда внедряют модель.

В случае с финансовой компанией, о которой говорилось ранее, отсутствие воспроизводимого способа мониторинга производительности модели привело к дорогостоящим и трудно устраняемым сбоям. Подобные «одноразовые» процессы могут привести к большим проблемам, как только исследовательские модели будут запущены в производство.

Часть MLO по стандартизации процессов как раз помогает оптимизировать разработку, внедрение и доработку моделей, позволяя командам быстро, и в то же время с высокой точностью использовать возможности ИИ.

Для стандартизации организациям следует совместно определить «рекомендуемый» процесс разработки и внедрения ИИ и предоставить инструменты для поддержки внедрения этого процесса в корпоративную практику.

Например, организация может разработать стандартный набор библиотек для оценки моделей ИИ, тем самым поощряя последовательное тестирование и проверку.

Стандартизация на этапах жизненного цикла ИИ (например, от data science до IT) особенно важна, поскольку позволяет различным командам работать независимо и сосредоточиться на своих основных компетенциях, не беспокоясь о неожиданных, разрушительных изменениях.

Инструменты MLO, такие как каталоги моделей и хранилища функций, могут упростить процесс подобной стандартизации.

Раньше за разработку ИИ отвечала команда специалистов по data science, но создание ИИ в большом масштабе не может быть осуществлено одной командой — для этого требуется множество уникальных наборов навыков, и очень немногие люди обладают сразу всеми необходимыми.

Например, специалист по данным создает алгоритмические модели, которые могут точно и последовательно прогнозировать поведение, а инженер ML оптимизирует, упаковывает и интегрирует исследовательские модели в продукты и постоянно контролирует их качество. Один человек вряд ли сможет хорошо выполнять обе роли. Соблюдение требований, управление и контроль рисков требуют еще более специализированного набора навыков. По мере масштабирования ИИ требуется все больше и больше опыта.

Чтобы успешно масштабировать ИИ, бизнес-лидеры должны создавать и расширять возможности узкоспециализированных, команд, сосредоточенных на своей задаче. Такие команды должны иметь возможность сосредоточиться на важных стратегических приоритетах, которые могут выполнить только они. Пусть специалисты по данным занимаются наукой о данных; пусть инженеры занимаются проектированием; пусть ИТ сосредоточится на инфраструктуре.

По мере того, как организации расширяют применение искусственного интеллекта, возникли две командные структуры.

Во-первых, существует «капсульная модель», в которой разработкой продукта ИИ занимается небольшая команда, состоящая из специалиста по данным, инженера по обработке данных и инженера по машинному обучению или программному обеспечению.

Вторая модель, «Центр передового опыта» или COE (Center of Excellence), заключается в том, что организация «объединяет» всех экспертов по data science, которые затем распределяются по различным продуктовым группам в зависимости от требований и доступности ресурсов.

Оба подхода были успешно реализованы и имеют как плюсы, так и минусы. Модель “pod” (капсульная) лучше всего подходит для быстрой разработки и введения в эксплуатацию, но может привести к разрозненности знаний, тогда как модель COE имеет противоположные характеристики.

Заметим, что в отличие от data science и IT, команды управления наиболее эффективны, когда они находятся за пределами капсульных моделей и COE.

Наконец, мы подошли к инструментам. Учитывая, что попытка стандартизировать производство искусственного интеллекта и машинного обучения — относительно новый проект, экосистема инструментов обработки данных и машинного обучения значительно фрагментирована — для построения единой модели специалист по данным работает примерно с десятком различных узкоспециализированных инструментов совмещая их в единой системе.

С другой стороны, IT или управление используют совершенно другой набор инструментов, и эти отдельные наборы инструментов сложно заставить корректно взаимодействовать друг с другом. В результате легко выполнить разовую работу, но построить надежный и повторяемый рабочий процесс сложно.

В конечном итоге именно это ограничивает скорость масштабирования ИИ в организации. Разрозненный набор инструментов может привести к тому, что вывод на рынок и создание продуктов искусственного интеллекта без надлежащего надзора затянется на неопределенный срок.

Но по мере масштабирования ИИ сотрудничество становится все более важным для успеха. Более быстрое проведение процессов требует постоянного участия вовлеченных в него сторон на протяжении всего жизненного цикла модели, а поиск правильного инструмента или платформы является жизненно необходимым шагом. Инструменты и платформы, поддерживающие ИИ в больших масштабах, должны поддерживать креативность, скорость и безопасность. Без правильных инструментов бизнесу будет сложно поддерживать их все одновременно.

Выбирая инструменты MLO для своей организации, руководитель должен учитывать важную вещь:

Совместимость

Чаще всего в компаниях уже существует некоторая инфраструктура искусственного интеллекта. Чтобы уменьшить трудности при внедрении нового инструмента, стоит выбрать тот, который сможет беспрепятственно взаимодействовать с существующей экосистемой. На производственной стороне сервисы моделей должны работать с инструментами DevOps, уже одобренными IT-специалистами (например, инструментами для ведения журналов, мониторинга и управления). Необходимо убедиться, что новые инструменты будут работать с существующей IT-экосистемой или могут быть легко расширены для обеспечения такой поддержки. Организациям, переходящим из локальной инфраструктуры в облако, следует найти инструменты, которые будут работать в гибридной среде, поскольку миграция в облако часто занимает несколько лет.

Благоприятно ли это для data science, а также для IT

У инструментов для масштабирования ИИ есть три основные группы пользователей: ученые, работающие с данными, которые создают модели, ИТ-команды, которые поддерживают инфраструктуру ИИ и запускают модели в производство, и группы управления, которые контролируют использование моделей в регулируемых сценариях.

Из всех “участников” data science и IT, как правило, имеют противоположные потребности.Чтобы ученые, работающие с данными, могли выполнять свою работу максимально эффективно, платформа не должна им мешать, позволяя быть гибкими в использовании библиотек по выбору и возможность независимой работы без постоянной инженерной или IT-поддержки.

С другой стороны, IT-отделу нужна платформа, которая налагает ограничения и гарантирует, что развертывание продукции будет следовать заранее определенным и одобренным IT-отделом путям. Идеальная платформа MLO может делать и то, и другое. Часто эта проблема решается путем выбора одной платформы для построения моделей и другой платформы для их практической реализации.

Сотрудничество

Как описано выше, разработка ИИ-модели — это задача с участием многих заинтересованных сторон. В результате инструмент MLO должен облегчить специалистам по данным работу с инженерами и наоборот, а также обьлегчить всем сторонам работу с управлением и соблюдением требований. В год “Великой отставки” (*феномен американской экономики - период, когда сотрудники массово добровольно увольнялись со своих рабочих мест, начиная с начала 2021 года во время пандемии COVID-19) обмен знаниями и обеспечение непрерывности бизнеса в условиях оттока сотрудников имеют решающее значение. При разработке продуктов искусственного интеллекта, хотя скорость сотрудничества между наукой о данных и IT-отделом определяет скорость выхода на рынок, сотрудничество в области управления гарантирует, что создаваемый продукт вообще должен быть создан.

Управление

С учетом внедрения искусственного интеллекта и машинного обучения, процесс управления становится гораздо более важным. Управление ИИ не ограничивается только безопасностью или контролем доступа в модели. Он отвечает за обеспечение соответствия модели этическому кодексу организации, отсутствие предвзятости в отношении защищенных групп, а также возможность доверия решениям, принимаемым ИИ. В результате для любого инструмента MLO становится крайне важным внедрение практики ответственного и этичного ИИ, включая такие возможности, как «предварительные» чеклисты для корректного использования ИИ, документацию моделей и рабочие процессы управления.

В гонке за масштабированием искусственного интеллекта и получением большей ценности для бизнеса с помощью технологий прогнозирования, лидеры всегда ищут способы опередить конкурентов. Такие ИИ-модели, упрощающие и автоматизирующие процессы как, предварительно обученные модели и лицензированные API, могут быть ценными сами по себе, но масштабирование ИИ для достижения максимальной рентабельности инвестиций требует, чтобы организации сосредоточились на том, как они используют ИИ.

Компании с лучшими моделями или самыми талантливыми специалистами по обработке данных не обязательно окажутся на первом месте; успех достанется компаниям, которые смогут разумно внедрить и масштабировать ИИ, чтобы раскрыть весь его потенциал.

Наша компания AI Consult занимается автоматизацией и ускорением бизнес-процессов, но клиенты называют это: найм искусственного интеллекта на работу.