6 практических шагов, как сделать проект машинного обучения успешным

Каессра Шнеебергер, Генеральный директор и основатель компании Odin 4.0 GmbH (автор)

Михаил Федоров, член Консультативного совета Odin 4.0 GmbH (перевод и адаптация)

Многие промышленные компании сегодня активно внедряют технологии искусственного интеллекта и машинного обучения. Некоторые из них уже значительно продвинулись в этом деле, другие же только стартуют и ищут свой путь в мир инноваций.

Мы в промышленном стартапе Odin 4.0, который разрабатывает системы мониторинга и предиктивной аналитики для газотурбинного оборудования, уже прошли несколько этапов внедрения технологий ИИ и хотим поделиться практическими советами, как сделать этот процесс более управляемым, а результат более быстрым и коммерчески выгодным.

Шаг 1: Cформируйте проектную команду и распределите роли

Наш опыт показывает, что внедрение AI / ML требует формирования проектной команды, состоящей из руководителя проекта, инженера-программиста, специалиста по ИИ и эксперта в предметной области или бизнес-процессе. На практике эти навыки и компетенции невозможно объединить в одном или двух людях, поэтому минимум вам потребуются четыре сотрудника.

Рекомендация: в начале проекта обязательно выделите четыре ключевые роли в проекте, назначьте подходящих людей и разъясните им задачи и зону ответственности.

Шаг 2: Cформулируйте бизнес-цели проекта (количественно!)

Мы сформулировали три шага для количественной оценки экономической выгоды. Шаг первый – определить цель проекта (в случае Odin 4.0, например, это может быть прогнозирование и предотвращение отказов турбины).

Затем на втором этапе согласовывается объем (виды отказов, которые необходимо предсказать и избежать), и, наконец, на третьем этапе необходимо оценить бюджет. Выполнив эти три действия, вы сможете рассчитать экономическую выгоду, такую как сокращение ожидаемых убытков от перерыва в работе или ожидаемое повышение производительности (например, повышение теплового КПД). Вычислить и даже предсказать ощутимые коммерческие выгоды до прохождения этих этапов будет достаточно сложно.

Важно заметить, что оценка экономической выгоды – это упражнение, требующее понятной и прозрачной структуры проекта. Полезно, если методология оценки коммерческой выгоды проекта известна или уже используется в компании. В нашем случае мы построили финансовую модель, основанную на сокращении ожидаемых убытков в зависимости от снижения реалистичного процента предсказуемых отказов. Финансовая модель соответствовала внутренней системе управления рисками оператора и вполне отвечала требованиям программ по снижению рисков в компании.

Рекомендация: если у AI / ML – проекта нет экономического обоснования, у него будут низкие шансы даже на старт.

Шаг 3: Выберите правильную ML-модель

Как владельцу проекта вам может быть любопытно узнать, насколько точен и надежен выбранный тип алгоритма. При его выборе мы задавали себе следующие вопросы:

· Нам нужно рассчитать значения в будущем? Поскольку большинство наблюдений временных рядов зависят от времени (например, измерения вибрации турбины), обычная нейронная сеть не будет работать. В этом случае понадобится рекуррентная нейронная сеть, такая как LSTM, которая будет обрабатывать серии событий во времени;

· Мы хотим, чтобы приложение различало состояние системы в исправном или неработоспособном состоянии? Тогда рекомендуется метод random forest, который позволяет наилучшим образом классифицировать события;

· Думаем о том, чтобы «оцифровать» риск катастрофического события (страхового случая) с учетом истории потерь электростанции? Для этого лучше всего подойдут байесовские сети, которые учитывают множество переменных и их вероятностные зависимости.

Иными словами, мы поняли, какая комбинация инструментов, то есть какие модели и соответствующие алгоритмы обучения, лучше всего подойдут для достижения именно нашей бизнес-цели.

Шаг 4: Контролируйте бюджет

После того, как мы выбрали подходящий алгоритм для вычисления значений в будущем, мы поставили несколько задач специалисту по машинному обучению, а именно:

· определить топологию модели нейронной сети (например, выбор количества слоев и нейронов) и способы улучшения топологии путем настройки гиперпараметров;

· выбрать наиболее подходящий оптимизатор (Adam, SGD и т. д.) и принять стратегические решения, например, какую функцию активации использовать (ReLu или tanH), какую функцию потерь использовать (MSE, MAE, MPE) и какие методы регуляризации использовать (выпадение, процент выпадения и т. д.).

Эти решения по топологии нейронной сети и обучению оказывают значительное влияние на функцию потерь, которая, в свою очередь, влияет на точность всей модели. Модели высокой точности требуют большого времени выполнения и больших вычислительных ресурсов, и, соответственно, больших затрат. Точность модели естественным образом становится основной задачей лидера проекта, также как и ее устойчивость (robustness). Под последней мы понимаем состояние, когда модель по-прежнему работает, даже при появлении неожиданных данных (серии данных). При этом важно следить за объемом дополнительных (incremental) затрат на повышение точности и устойчивости.

Для достижения сбалансированных показателей по ML-модели руководителю необходимо принять правильное решение, которое позволит найти баланс между результатом машинного обучения и вкладом эксперта в предметной области, который также может стоить достаточно дорого. Дополнительный опыт в предметной области, включенный в решение, увеличивает шанс на принятие лучшего решения эксплуатирующей организацией и ее инженерами (больше доверия), но сводит на нет цель использования самообучающихся систем и является менее экономичным.

Рекомендация: как владелец проекта, убедитесь, что вы контролируете бюджет, понимая технические решения вашей команды. Члены команды технически могут лучше принимать решения. Но им все равно понадобятся ваши решения по экономике проекта, чтобы он не стал экономически не выгодным.

Шаг 5: Подготовьтесь к тиражированию

Все хотят создать работающий продукт и потом его тиражировать. При этом важно обнаружить ошибки на первых этапах работы, а то есть большая вероятность реплицировать ошибку на большем количестве проектов и задач. Для исключения подобных ошибок в начале мы обратили внимание на следующие два фактора:

· Выбор параметра. Эта процедура может занять довольно много времени и увеличить усилия при проектировании базовых функций, например, какие измерения сигналов имеют наибольшее влияние на результат, который мы хотим спрогнозировать (например, отказ подшипника). Перед началом предварительной обработки данных эксперт в предметной области должен убедиться, что все соответствующие измерения сигналов предоставлены и правильно помечены;

· Маркировка и назначение параметров. Эти действия также производятся экспертом в предметной области, чтобы обеспечить правильную интерпретацию. Например, когда мы назначали параметры сигнала различным секциям турбины, наш эксперт (инженер по турбинам) заметил, что некоторые неправильные распределения сигналов были ошибочно отнесены к секции высокого давления, хотя они действительно должны были быть отнесены к секции среднего давления. Эта поправка спасла нас от неправильных выводов, несмотря на правильные расчеты, и помогла избежать репликации ошибки в будущем.

После корректного определения и учета ключевых параметров, мы смогли оценить потенциал масштабируемости решения. Для этого мы оценили экономическую выгоду от масштабирования нашего решения на весь парк с увеличением скорости установки системы на новых турбинах. Такая оценка позволила получить общую картину и создать дорожную карту внедрения. Мы учли скидку на масштабируемость (большее количество турбин стоит меньше за единицу), а также надбавку за «повышенную точность прогнозирования» (чем больше турбин мы отслеживаем, тем надежнее наши прогнозы). Мы также включили фактор неопределенности для дополнительных задействованных ресурсов на выбор и маркировку параметров.

Рекомендация: как владелец проекта вы должны знать и уметь определять технические проблемы, чтобы оценить потенциал масштабируемости и реплицировать ошибки.

Шаг 6: Cоздавайте практически применимые результаты

Чтобы решение в сфере ML стало коммерчески выгодным, результат должен быть практически применимым. В нашем проекте мы узнали, что получение числовых значений и оценок риска было недостаточно для повседневной практической работы операторов, поэтому нам нужно было преобразовать числовые оценки риска в действенные выходные данные (такие как вероятность заданных режимов отказа, включая рекомендации по техническому обслуживанию для персонала электростанции). Именно такой подход и нацеленность на конкретный результат как раз себя и оправдали.

В итоге наш подход в области разработки и внедрения решений на базе

AI / ML сводится к следующим шагам:

1) Сформируйте проектную команду, в которой обязательно должны быть представлены 4 роли: менеджер проекта, инженер-программист, эксперт в машинном обучении (MLE), эксперт в предметной области;

2) «Оцифруйте» бизнес-цели проекта: используйте подходы, применяемые в вашей организации;

3) Выберите правильную модель машинного обучения под задачи проекта;

4) Контролируйте бюджет через понимание процесса принятия технических решений;

5) Оцените и планируйте тиражируемость, при этом отслеживая ошибки с самых первых этапов;

6) Обеспечьте достижение практических результатов, выраженных в прибыли, скорости и упрощении процессов.