{"id":10861,"title":"\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u043f\u0438\u043b\u043e\u0442 \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 PwC Venture Hub","url":"\/redirect?component=advertising&id=10861&url=https:\/\/vc.ru\/promo\/349044-korotko-zapustit-pilot-i-poluchit-novyh-klientov-s-pwc&placeBit=1&hash=4330fcc6373e035951e6ff64a3ae572ba5f30463fe8776204270bbc0bd091c81","isPaidAndBannersEnabled":false}
Будущее
McKinsey Digital

Агрегаты с алгоритмами: как углубленная аналитика меняет тяжелую промышленность

Датасаентисты McKinsey о больших и сложных проектах, задачах без стандартных решений и инженерной романтике.

Вообразим себя на горно-обогатительном комбинате где-нибудь в Африке. Дробленая порода из карьера поступает на конвейер и отправляется на фабрику по обогащению. Там кусочки руды измельчаются, смешиваются с водой и попадают в резервуары. В них добавляют реагенты и воздух, маленькие частицы цепляются за пузырьки и всплывают, а все лишнее оседает на дне. В концентрате на выходе увеличивается доля полезных ископаемых.

На фабрике много оборудования, и от его настроек зависит количество и качество выхода годного. А также — сколько от первоначального объема полезных ископаемых удастся сохранить. Имея доступ к датчикам, которые в реальном времени пишут историю работы агрегатов, и понимая, какие параметры влияют на результат, можно улучшить работу производства. Это огромное поле возможностей для data science.

Модели впитывают физику

С позиции углубленной аналитики есть две категории задач, которые больше всего востребованы в сегменте GEM (Global Energy & Materials).

1. Predictive maintenance. Математические модели предсказывают, когда может произойти поломка того или иного агрегата и когда его нужно обслуживать. Во внимание принимается износ оборудования, текущее состояние завода, посменная история, реагенты и компоненты, которые добавляют в процессе, и многое другое.

Когда у одного крупного производителя нефти из-за поломки компрессора на нефтяной платформе случился простой, остановка обходилась компании в 1‒2 млн долл. США ежедневно. Алгоритмы помогают не нарушать непрерывный производственный цикл и находить первопричины неисправностей.

2. YET (Yield, Energy and Throughput). Пул аналитических задач здесь шире и охватывает все, что касается оптимизации производства. Оптимизационные модели с определенной частотой подсказывают операторам и инженерам, какие параметры на каком оборудовании необходимо выставить, чтобы достичь заданных целей.

Цели могут быть разными: максимизировать прибыль, выйти на оптимальную производительность и увеличить объемы производства или улучшить качество. Сюда входит как дескриптивная аналитика, так и предиктивная, а также прескриптивная.

«Тут возникают задачи, которые не уникальны для GEM, но в приложении к тяжелой индустрии приобретают определенную специфику. Предиктивные модели не понимают физики процессов, но учатся на истории и впитывают физику косвенно, при этом не всегда зная, что будет, если мы выйдем за пределы тех параметров, в которых раньше работали.

Важно подбирать разные виды оптимизаций, чтобы добавить в модель „физичности”, реального смысла. Если говорить про методы, то это различные эволюционные стратегии и генетические алгоритмы, оптимизация MCMC (Monte Carlo Markov Chain), Particle Swarm (метод роя частиц)».

Егор Сачко
датасаентист

Очень большие данные

Проекты в GEM — это всегда петабайты данных, которые датчики на производстве собирают годами; при этом природа их менее понятна, чем в других отраслях. Нельзя посмотреть на сводные графики и быстро разобраться в процессах, нет персонального пользовательского опыта, на который можно опереться (мало кто из нас работал в плавильном цехе).

Иногда, чтобы получить наиболее гранулярные данные, надо брать спецодежду, с флешкой идти в цех и выгружать телеметрию автоматизированной системы управления технологическим процессом. Затем переменную за переменной и показатель за показателем выверять со специалистами с производства.

Фокус на обработку данных

Заводские сенсоры и анализаторы, с которых мы получаем данные, как и лабораторные измерения, подвержены воздействию разных факторов, и это ведет к ошибкам. Они бывают такими.

  1. Систематические (например, если сенсор неправильно откалиброван).

  2. Эпизодические (например, когда произошел резкий скачок напряжения).

  3. Ошибки измерений (наиболее характерны для лабораторных замеров).
  4. Пропущенные значения (когда датчик вдруг отключается, и мы вообще больше не получаем данных).

Усложнение алгоритмов не дает такого прироста в точности, как новые хорошие данные. Поэтому обработке выбросов и аномалий уделяется особое внимание (о борьбе с аномалиями мы немного рассказывали в этой статье).

Опенсорсные алгоритмы и свои наработки

«Коробочных» решений у фирмы нет, но есть возможность подключать различные функции и алгоритмы из внутренних библиотек с предиктивными и оптимизационными моделями. В том числе разработанные под задачи конкретных отраслей, добывающей и обрабатывающей промышленности. Для проектов в GEM мы используем и общедоступные алгоритмы, и внутренние фреймворки с различными методами обработки данных и создания моделей, оптимизационными задачами и решениями, темплейтами приложений и интерфейсов.

В тяжелой промышленности активное внедрение инструментов data science стартовало позже, чем в телекоме, ритейле или банках. Если там проект с углубленной аналитикой часто предполагает, что в уже существующую функцию нужно привнести цифровую составляющую, то в GEM все не так.

Это всегда комплексная цифровая трансформация — и не одного завода, а целого комбината с кучей узлов обработки и установок. Когда масштабы такие, каждый проект начинается с диагностики и приоритизации.

Трансформация начинается

1. Воркшопы, Agile-команды и приоритизация сценариев использования

Первый шаг на проекте — диагностика. Она призвана выявить максимально широкий спектр сценариев применения углубленной аналитики на производстве и выбрать приоритетные исходя из потенциального эффекта.

Список приоритетов формируется по итогам специальных воркшопов, где выслушиваются разные мнения и предложения. Участвуют все: начиная от тех, кто непосредственно работает на установке, заканчивая топ-менеджментом.

Датасаентисты McKinsey вместе со специалистами со стороны клиента формируют совместные agile-команды. С обеих сторон есть лидеры по цифровизации и непосредственные владельцы продукта от производства.

В ИТ гибкая методология работы над проектами давно стала стандартом. Но в промышленности дело обстоит совсем не так, а идея внедрения изменений в режиме коротких итераций многим кажется чуть ли не революционной. На этом этапе мы также прорабатываем customer journey.

2. Proof of concept и первое построение модели

Даже если проблема важная, цифры говорят, что сценарий достоин реализации, и это подтверждает команда, пока это лишь гипотеза. На стадии proof of concept мы строим первую модель и смотрим, действительно ли она способна решить те задачи, которые ей поставили.

«Для меня как для датасаентиста принципиально превратить в математическую формулировку поток проблем и идей, которые обсуждались на воркшопах. При этом важно доступно объяснять суть того, что я делаю, тем, кто непосредственно не связан с data science.

Если задача предиктивная, со всеми участниками процесса надо проговорить, что мы будем прогнозировать, с какой гранулярностью, какие данные будем брать. В случае оптимизационной задачи — какая целевая функция, что мы будем оптимизировать, какие будут ограничения.

Мы разговариваем с технологами и производственным персоналом, обычно кто-то из главных специалистов на одном огромном листе А0 берет и руками рисует установку, с которой мы работаем. На рисунке отмечает, как устроена физика и химия процесса, какими данными мы располагаем, какова их глубина и гранулярность. Начинают появляться гипотезы, на что надо посмотреть.

Стадия proof of concept имеет в agile-процессе большое значение, а в GEM особенно, так как дает право на ошибку. Не надо бояться ошибаться, но лучше делать это раньше, чем позже. То, как будет работать модель, зависит от очень разных факторов. Износ узлов и оборудования влияет на целые группы параметров.

Может оказаться, например, что какой-то датчик, который отвечает за качество, сломан. Или что качество измеряется не настолько часто, как нужно. А может быть вообще не измеряется какая-то важная точка в процессе, и хорошую модель для предсказания этого параметра построить невозможно. Если мы поймем, что сценарий не работает, то можем попробовать найти другой подход к решению этой задачи или перейти к следующей в порядке приоритетности».

Александр Лабуть
датасаентист

Когда качество модели, которое мы имеем по итогу двухнедельного цикла, устраивает команду, и его достаточно для получения эффекта, переходим на следующий этап.

3. Доработка модели и MVP

На стадии MVP модель, которая живет на выгруженных данных на компьютере датасаентиста, начинает превращаться в живой сервис с фронтендом и machine learning-бэкендом. Данные, которые изначально выгружались как выборка, теперь поступают в модель в режиме реального времени.

Продолжаются почти ежедневные обсуждения с экспертами объединенной команды: какие физико-химические процессы или аномалии обошли вниманием, что можно было бы еще попробовать. Какие фичи добавить или как преобразовать существующие.

Качество модели растет, она непрерывно дообучается на новых порциях данных — ведь установка живет своей жизнью и реагирует на изменения условий, например, температуру за окном. Датасаентист теперь только контролирует процесс.

Егор Сачко

«Мой последний проект — фабрика по обогащению руды на Ближнем Востоке. Нам надо было оптимизировать производство: построить оптимизатор, который каждые несколько часов будет выдавать рекомендации инженерам и операторам оборудования.

Мы базировались в поселке вахтовиков возле фабрики — завод находился в трех часах езды от города. По сути ты „живешь на работе”, полностью погружаешься в эту среду и испытываешь неподдельное чувство радости, когда по пути на фабрику на табло видишь большие цифры — сколько было произведено вчера. В этом есть инженерная романтика, а каждый датасаентист в GEM в душе немного инженер.

В команде были представители всех континентов: я из России, специалист по майнингу из Южной Африки, датасаентисты из Австралии и Америки, местные инженеры. В том числе с нами работал датасаентист из QuantumBlack. Всего пять человек от фирмы и пять от клиента.

На фабрике у нас была отдельная комната. Я всегда распечатываю схемы установок и оклеиваю ими стены. Они бывают нужны, когда сам идешь на производство или чтобы по ним инженеры объясняли, что происходит. Прямо на схемах обозначаю контрольные точки и периметр данных. До конца проекта это один из основных источников инсайтов — что еще попробовать или как решить проблему, если что-то пошло не так.

В середине марта в связи с коронавирусом всей команде пришлось экстренно эвакуироваться — границы закрыли буквально одним днем. Четыре моих рейса отменились, но в итоге все же удалось вернуться в Россию.

В свете обстоятельств и мы, и часть команды клиента перешли в режим удаленной работы (совсем остановить производство нельзя, но количество людей на заводе на время пандемии урезали во много раз). Перестроились все быстро, теперь у нас каждый день звонки и конференции. Один из мощных инструментов для движения вперед — онлайн-встречи формата problem solving, где мы обсуждаем точечные проблемы и предлагаем решения.

Важно сделать модель такой, чтобы она отвечала модели работы самого завода. Проверить это можно только при тестировании — в задачах по оптимизации результат видно сразу же.

Например, в ходе тестирования может оказаться, что нельзя за один цикл увеличить подачу реагентов в два раза, так как на одном из резервуаров поток концентрата становится нестабильным. Быстро выявляя подобные моменты, можно оперативно вносить изменения, чтобы потом заново еще что-то протестировать с новым алгоритмом».

Не просто построить модель

Процессы и компетенции

Конечная задача команды McKinsey — не просто построить модель или доказать возможность какого-то результата, а обеспечить устойчивость этого результата. Основа устойчивости — это процессы, люди и их умения. Поэтому создание особых навыков у команды клиента, от топ-менеджмента до линейного персонала, это тоже часть проекта.

Мы выстраиваем полноценную функцию data science и погружаем в процесс не только инженеров, которые выполняют рекомендации модели. Если в компании нет своих датасаентистов, то помогаем найти нужных специалистов, которые будут не просто поддерживать решения, но смогут их дальше развивать и масштабировать.

Экспертная поддержка с обеих сторон

На проектах в GEM всегда есть как индустриальные специалисты со стороны McKinsey, так и представители производства. Со стороны клиента это обычно начальник производства либо технологи. У датасаентистов, которые участвуют в проектах в тяжелой индустрии, почти всегда хорошее понимание физико-химических процессов и за плечами не один завод, но особенности производственных процессов и их влияния на параметры оборудования глубже всего понимают люди, которые работают на установках.

«В моей практике был такой пример. Однажды я делал модель по предсказанию поломок (predictive maintenance). Построил модель residual useful lifetime с очень высокой метрикой качества. Казалось бы, все здорово, вроде соблюдена пропорция, что мы прогнозируем в будущее. Никакой утечки данных нет.

И вот мы обсуждаем модель на встрече с главным технологом, и он говорит: „Ребят, все прекрасно, но у вас модель предсказывает очевидное. У нас выработка летом снижается, потому что перегреваются колонны. Если это лето, то вероятность поломки низкая, а если зима, то высокая. Температура не свидетельствует, что это что-то важное в процессе. Это наша реакция на обстоятельства”.

Нам пришлось несколько периодов из выборки убирать и переобучать модель. На выходе качество было уже не такое великолепное, как до этого, но прогноз стал реалистичным. Это еще раз напоминает, как важен контакт с экспертами из индустрии, когда работаешь в промышленности».

Александр Лабуть

В собственной внутренней сети McKinsey около 400 экспертов по data science, а в хабе региона EEMA, куда входит и московский дата-хаб, — 58 специалистов. Но кроме датасаентистов есть тысячи коллег, которые видели сотни разных производств. Понимание, что ты можешь обратиться с вопросом и к экспертам со стороны клиента внутри проектной команды, и к коллегам из фирмы, очень ценно.

Пытливый ум, временные ряды и вдохновение

Баланс hard skills и soft skills нужен в работе каждого консультанта и датасаентиста фирмы, но в GEM он играет особую роль.

Hard skills

Во-первых, это определенный список навыков и знаний именно в области data science. Машинное обучение (особенно актуально умение интерпретировать результаты работы и логику алгоритмов типа «черный ящик»). Все, что касается временных рядов. Глубокое обучение и типовые архитектуры MLP, CNN, LSTM. Алгоритмы оптимизации (эволюционные стратегии, Монте-Карло в марковских цепях).

Во-вторых, это понимание индустрии. В работе сильно помогают академические знания в добывающей, перерабатывающей, химической, металлургической промышленности и опыт моделирования физических процессов. Сейчас, кстати, как раз идет онлайн-хакатон McKinsey для датасаентистов, на котором можно подвергнуть проверке собственные знания.

И в-третьих, нужен комплексный взгляд на экономику производства и понимание, как происходящее на каждом узле и установке, вариативность качества и других параметров влияют на коммерческую сторону процесса. В McKinsey во главе угла для любого консультанта и датасаентиста стоит финансовый результат клиента.

Soft skills

Иногда донести ценность углубленной аналитики до конечных пользователей — специалистов, которые работают на установке — бывает сложно. Разговор нельзя строить в формате «Вот мы у вас тут на установке померили, плохо то-то и то-то». Человек с большой вероятностью воспримет это как камень в свой огород.

Поэтому воркшопы, где предложения по потенциальным улучшениям выносятся на всеобщее обсуждение — ключевой инструмент коммуникации. Датасаентист должен найти подход и к производственнику, и к топ-менеджеру.

Постоянное развитие

В McKinsey датасаентисты имеют доступ ко всем курсовым платформам, любой профессиональной литературе, можно ездить на крутые международные конференции. Но один из самых мощных инструментов для развития — обмен знаниями на внутренних онлайн-конференциях.

«Такие конференции проходят примерно раз в две недели и собирают много народу со всех офисов. Последняя была про внутренний фреймворк для оптимизации. Показывали кейсы в горнодобывающей индустрии, на сталелитейном заводе, в нефтехиме и, совершенно неожиданно для нас, на ветряных мельницах.

В некоторых европейских странах это еще очень актуально, и прогнозы ветра плюс оптимальные модели поворотов почти ничего не стоят в операционных затратах, зато дают хороший экономический выигрыш. На каждом созвоне обычно бывает около сотни человек. Послушав, в очередной раз понимаешь масштабы проектов, и это вдохновляет».

Егор Сачко

В фирме есть внутренние гильдии — объединения по функциям, индустриям, географии и другим признакам. Если тебя знают внутри гильдии, растут шансы попасть на интересные международные проекты. Когда кто-то из коллег понимает, что у тебя есть подходящие компетенции и рекомендует в команду.

«GEM — крутое пространство для экспериментов. Здесь много данных, сложные процессы. Это поле, чтобы пробовать новые методы, например, поработать с рекуррентными нейронными сетями.

Если ты интересуешься самыми передовыми вещам в data science, тем, что находится на стыке между практикой и наукой, тут это можно применить. Но еще это всегда вызов. Либо сложный процесс, либо нерепрезентативные данные, либо что-нибудь еще. Может вообще ничего не получиться — к этому надо быть готовым.

Лично я испытываю больше всего драйва, когда своей работой удается поменять отношение к методам data science у людей, которые непосредственно работают на производстве. Мне как-то предложили стать начальником установки. „Ты вроде во всем разобрался, правильные вопросы задаешь”, — говорят. В шутку, конечно, но есть доля правды. И это было действительно здорово».

Александр Лабуть

В сухом остатке

Изменения в тяжелой индустрии дают очень заметные финансовые результаты. Улучшение выхода на 2% или удержание качества на том же уровне при снижении потребления дорогостоящего топлива может выражаться в десятках миллионов долларов. Организации, которые системно работают с инструментами углубленной аналитики, фиксируют рост маржи по EBITDA на 4‒10%.

Data science позволяет находить новые и более эффективные способы оптимизации на каждой ступени работы производственных компаний от добычи сырья до продажи конечного продукта. Но в тяжелой индустрии технологии всегда идут рука об руку с экспертизой и знаниями людей. Поэтому не только алгоритмы, но и процессы, люди и их умения находятся в основе каждого проекта в GEM с устойчивым результатом.

Работа на таких проектах — для тех, кем движет природное любопытство и кого сложности не пугают, а мотивируют. Если вам интересно доходить до сути вещей, находить ответы на непонятные вопросы и в итоге ответить на самый большой вопрос «почему», то вам — в углубленную аналитику для тяжелой промышленности.

Для тех, кто хочет погрузиться глубже

Почитать

Послушать

0
4 комментария
Популярные
По порядку
Alexander Kalinnikov

Спасибо за ссылки после статьи! Хорошие материалы для скачивания и изучения

Ответить
1
Развернуть ветку
McKinsey Digital

Мы рады, что пригодились!

Ответить
2
Развернуть ветку
Onis Cristal

А есть примеры из машиностроения?

Ответить
1
Развернуть ветку
McKinsey Digital

Да, в фирме есть примеры использования углубленной аналитики в машиностроении. Если к этой теме есть интерес, возьмем ее на заметку при написании следующих постов!

Ответить
1
Развернуть ветку
Читать все 4 комментария
Режим Хеджирования
Я готов месяц счищать снег с тротуара перед зданием ЦБ РФ в костюме жабы

Вот уже полгода мы подстраиваем свою работу под требования 259 федерального закона, чтобы создать полностью легальную криптоплощадку на территории РФ. Я потратил несколько миллионов долларов на разработку платформы, работу юристов и оценщиков.

Доллар на бирже превысил 79 рублей впервые с 2020 года, ЦБ остановил покупку иностранной валюты на неопределённый срок Статьи редакции

Что происходит 24 января: в падении рубля виновата геополитика, но ему могут помочь высокие цены на нефть.

Эксклюзивные промокоды для читателей виси на скидки до 75%

Видео-редактор Supa.ru, бот для ведения личных финансов Мобс бот, приложение для запоминания иностранных слов MemoWord и еще 20 полезных сервисов от читателей для читателей.

Что такое аномалии фондового рынка
Безуспешные попытки подарить другу Яндекс Станцию на День рождения

Краткая предыстория: наша компания друзей на 5 человек из разных городов, мы дружим, но 90% времени общаемся онлайн (нет мы не 14-летний фан клуб по Майнкрафту — все взрослые дядьки, кому третий десяток идет, а кому уже и четвертый).

Кейс Pirelli: переводим станки на человеческий язык
Наша статистика – это ваши поддержка и доверие
Polars: самая быстрая библиотека для обработки данных

Polars или Pandas? Кто быстрее?

null