Список материалов и кейсов применения ML и DS в промышленности

Привет!

Несколько лет назад очень разлетелся этот пост под названием “Применение машинного обучения и Data Science в промышленности” (перевод англоязычного поста). Это большой список ссылок с примерами применения AI/ML/DS (обязательно код на python и размещение на GitHub) в различных отраслях промышленности.

Несмотря на большую популярность и неплохие отзывы про пост в целом, в главе “Производство” я нашел буквально пару полезных ссылок (большинство являются ссылками на малополезный код) и не нашел большое число полезных. Захотелось это исправить и сделать более полный, качественный и, в итоге, полезный список, пусть и заменяющий всего одну главу исходного.

Пример архитектуры платформенного решения по применению AI/ML/DS в промышленности
Пример архитектуры платформенного решения по применению AI/ML/DS в промышленности

Конечно, “производство” более закрытая и консервативная область чем многие другие, поэтому существует не так много публично доступных наборов данных, публичных задач и open-source инструментов полезных и применимых для этой отрасли, но из-за этого такой список кажется еще более полезным.

Правила составления списка

Мой список так же как и изначальный направлен на агрегацию ссылок с применением машинного обучения в производственных задачах. Но я не ограничивался только ссылками с кодом (иногда полезно посмотреть на общие подходы решения задач, представленные в статьях или рассказанные на конференциях), а также размещением на GitHub (к сожалению, там действительно не так много полезных репозиториев с подходящими примерами решения задач), хотя пометки о наличии кода (или датасета, или научной статьи) по ссылке присутствуют. Если применимо и информация доступна, то дополнительно указаны авторы статьей/докладов, компания, для которой разработано решение и вендор, решающий задачу.

Задачи машинного обучения на производстве

Для более удобной навигации пост разбит на разделы по задачам ML на производстве (список задач/разделов не полный, но достаточный для удобства работы с информацией). Пока выделены следующие наиболее популярные и широко представленные задачи:

  • Рекомендательные системы и оптимизационные задачи.
  • Поиск аномалий.
  • Определение остаточного ресурса.
  • Контроль и прогноз качества продукции.

Подробнее про задачи ML в промышленности можно почитать здесь или в этой обзорной научной статье.

Для кого и зачем

Мне кажется, что пост может быть полезен как начинающим специалистам или студентам, так и опытным дата сайентистам или руководителям разного уровня. Я сам прошел путь от джуна до руководителя, и мне кажется, что польза может заключаться в следующем:

  • Начинающим специалистам информация по ссылкам поможет определиться со специализацией в Data science (CV, NLP, Временные ряды/Табличные данные и др.), выбрать доменную область (интересно ли применять машинное обучение на производстве) и получить первые знания в области - понять как вообще решаются типовые задачи.
  • Опытным специалистам полезным может быть смотреть на опыт и набитые шишки коллег из других компаний по использованию различных подходов/инструментов/методов при решении типовых задач.
  • Менеджменту полезен опыт по применимости и возможностям ИИ на производстве, узкие места и способы повысить вероятность успеха проекта, типичные ошибки и информация о вендорах/исполнителях для потенциального привлечения на проект.

Дальнейшая работа и участие в проекте

  • Во-первых, ссылки с обзорами будут со временем разбираться, и конкретные кейсы будут попадать в конкретные разделы по задачам.
  • Во-вторых, список будет расширяться как российскими, так и зарубежными кейсами и полезными материалами.
  • В-третьих, приглашаю всех участвовать, писать мне, контрибьютить в репозиторий напрямую.

Актуальный список размещен на GitHub и доступен по этой ссылке.

GitHub репозиторий проекта
GitHub репозиторий проекта

Актуальный на сегодняшний день список кейсов представлен ниже.

1 Recommendations and Optimisations (рекомендации и оптимизация)

  • Severstal. Causal inference for a steel mill. Boris Voskresenskii [youtube], [towardsdatascience.com]
  • [EN] Severstal. Adaptive speed regulation on a metallurgical pickling line with RL. Boris Voskresenskii [youtube], [Arxiv]
  • Северсталь. Модель управления обжиговыми машинами. Борис Воскресенский [youtube]
  • ММК (YDF). Как Яндекс металлургам помогал. Виктор Лобачев [youtube]
  • ММК (YDF). Тяжелая металлургия | Data Science кейс-клуб [youtube]
  • Цифра. Экономно готовим битум: Рекомендации рецептур с помощью машинного обучения. Кирилл Ершов [youtube]
  • ГПН (Раблз). Подбор и оптимизация рецептур моторных масел с использованием ИИ. Я.Чижевский, Н.Дорошенко [youtube]
  • Евраз. Хитрый сплав: как мы соединили дата-сайентистов, разработчиков и технологов и чем это помогло металлургии [habr]
  • Софтлайн. Линейные деревья решений для прогноза усваемости химических элементов в плавке. Николай Князев [youtube]
  • Русал (Mechanica AI). AI + AL. Оптимизация производства алюминия (прогноз вероятности снижения эффективности). Эмели Драль [youtube]
  • [EN] Conundrum.ai. Several optimisation cases. [pdf]

2 Anomaly detection (поиск аномалий)

  • Росатом (Цифрум). Предиктивная аналитика на МСЗ. Иван Максимов [youtube], [medium]
  • Росатом (Цифрум). Мониторинг технического состояния электролизеров. Юрий Кацер [youtube]
  • Росатом (ВНИИАЭС). Предиктивная аналитика турбогенератора АЭС. Мухортов [pdf]
  • Россети (Mail.ru). Россети и Mail.ru в поисках черных майнеров. Александр Мамаев [youtube]
  • Россети (Mail.ru). Разработка ML-решений: от постановки задачи до эксплуатации [youtube]
  • [EN] Bosch. Production Line Performance (Reduce manufacturing failures) [kaggle]
  • [EN] IBM. Equipment Failure Prediction using IoT Sensor data [github]
  • РКЦ «Прогресс». Интеллектуальный мониторинг технического состояния станков [youtube]
  • Цифра. АИС Диспетчер, Организация обслуживания и ремонта промышленного оборудования [youtube], Кейс Авиастар-СП [youtube], Кейс RubEx Group [youtube]
  • [EN] Rosatom (waico.tech). Anomaly Detection for NPP Power Transformers. Iurii Katser [medium], [kaggle]

3 RUL (remaining useful life) and TTF (time-to-failure) (остатчный ресурс)

  • [EN] NASA (Microsoft). LSTM for predictive maintenance on Turbofan Engine Degradation Simulation Data Set [github], [gallery.azure.ai]
  • [EN] NASA. The aircraft engine run-to-failure data [github]
  • [EN] Waico.tech. RUL Determining for Continuous Casting Machine Mold Sleeve. Iurii Katser [medium]

4 Product quality (качество продукции)

  • [EN] Industrial defect inspection (counting the number of pills during manufacturing) [github]
  • [EN] SECOM Detecting Defected Items (binary classification problem) [github] | Approaches for the class imbalance problem SECOM [github]
  • Микрон и Уралхим (МТС). Как использовать данные на предприятии на примере Микрон и Уралхим. Михаил Матвеев [youtube]

5 Other (другие)

  • ГПН (Сколтех). Применение ML для прогнозирования литологии в процессе бурения скважины. Никита Ключников [youtube]
  • ГПН. Как сблизить практику и науку ИИ? Анджей Аршавский [youtube]
  • ГПН. Применение алгоритмов ML для подавления шумов по несуммированным сейсмическим данным. Даниил Сёмин [youtube]
  • [EN] Can you cut the time a Mercedes-Benz spends on the test bench? [kaggle], [The 11th place solution at github, youtube, kaggle]
  • ПАО «Полюс». Кейс «Цифровой советчик водителя», Андрей Горшков [youtube]
  • КРОК. Как подружить промышленность и big data. Аналитика, SCADA, BI, интеграция с источниками данных. [habr]

6 Multiple cases (overviews and panel discussions) (обзоры кейсов, панельные дискуссии, общие разговоры)

  • Искусственный интеллект в нефтегазовой отрасли. Дмитрий Коротеев, Сколтех [youtube]
  • Искусственный интеллект в разведке и добыче нефти и газа. Сергей Сафонов, Aramco [youtube]
  • Цифровая экосистема для горняков: как НЛМК применяет искусственный интеллект на Стойленском ГОКе, НЛМК [rusbase]
  • Кейсы. Внедрение искусственного интеллекта в промышленности («КАМАЗ», «Цифрум», red_mad_robot, «Цифра») [youtube]
  • Data Fest Online 2020. Трэк: Машинное обучение в реальных секторах экономики - от добычи нефти до генерации энергии и производства стали. [ods.ai]
  • Severstal Data Science Meetup [youtube]
  • Научно-техническая конференция «Цифровые технологии в добыче углеводородов: от моделей к практике - 2021». Применение интеллектуальных технологий на объектах добычи, хранения, транспорта и переработки нефти [youtube]
  • McKinsey: Углублённая аналитика в тяжёлой промышленности [youtube] | [vc.ru]
  • Как заставить ML работать и причем тут физика. Примеры из нефтегазовой отрасли. Тимур Бикмухаметов [youtube]
  • Машинное обучение в промышленном масштабе. Эмили Драль [youtube]
  • Machine Learning, или Трансформация данных в деньги. Александр Хайтин, Yandex [youtube]
  • Искусственный интеллект в металлургии. Александр Хайтин, Mechanica AI [youtube]
  • Кейс-конференция AI в промышленности. Индустриальные инновации [youtube]
  • ГПН: ПРАКТИКА И ИССЛЕДОВАНИЯ В СФЕРЕ ИИ ДЛЯ ПРОМЫШЛЕННЫХ КОМПАНИЙ [youtube]
  • Schneider Electric. Система расширенного управления производственными процессами и эффективностью активов по критерию минимизации простоев, платформа для предиктивного технического обслуживания и многое другое [youtube]
  • Росатом (Цифрум). Опыт проектов с ИИ в промышленности. Юрий Кацер [youtube]

Я создал телеграм канал DataKatser, где появляюсь гораздо чаще и делюсь своими мыслями и интересными кейсами по data science, машинному обучению и искусственному интеллекту. Буду рад вашей подписке!

1616
4 комментария

А у вас случайно нет под рукой подобного списка для других отраслей?
В свое время учил DS, немного поприменял на работе, но проект заморозили и уже год прошел, чувствую, что дофига чего забывать начал, хочу на выходных pet проект поделать какой-нибудь, но вот куда приткнуть пока ума не приложу.

На текущей работе в силу специфики приткнуть особо некуда, так как куда можно было - уже до меня закрыли вопросы с помощью или без помощи моделей. А от производства подташнивает по ряду причин, туда точно идти не хочу.

Ответить

Kaggle в помощь

3
Ответить

Есть только такой из статьи - https://habr.com/ru/company/vk/blog/462769/

А вообще согласен, что Kaggle отлично подойдет для тренировки в мл, там и данные и примеры решения задач с кодом!

1
Ответить

Отличный кейс)

Ответить