Алгоритмы для промышленности: как ИИ повышает эффективность транспортировки железной руды на Стойленском ГОКе
RDL by red_mad_robot совместно с группой НЛМК рассказывают, как машинное зрение сделает процесс по перевозке сырья на Стойленском горно-обогатительном комбинате безопаснее и в перспективе позволит сократить издержки на семьдесят миллионов рублей в год.
По плану цифровая система будет контролировать качество загрузки автосамосвалов и думпкаров (вагонов-самосвалов), а также оценивать объём перевозимой породы на Стойленский ГОК.
Работу над проектом начали в конце 2020 года, а недавно закончился этап проверки гипотезы: компьютерное зрение успешно протестировали на двух точках. В августе будет запущен MVP, после чего систему установят ещё минимум в десяти стационарных точках на СГОКе.
Подробнее о решении, этапе проектирования и тестирования, а также о том, какой результат ожидается для производства, рассказываем в статье.
Про НЛМК и место интеграции системы — СГОК
Группа НЛМК — международная сталелитейная компания с активами в России, США, Индии и странах Европы. Выполняет полный цикл производства — от добычи сырья до выпуска готовой продукции.
Стойленский горно-обогатительный комбинат обеспечивает потребности группы в железорудном сырье и занимает третье место в России по объёму добычи. На его долю приходится более 16% производства всей товарной руды в стране.
Проблематика
Для добычи железной руды породу в карьере разрыхляют с помощью буровзрывных работ. После чего экскаваторы грузят горную массу в транспорт: доставка до железнодорожной ветки происходит с помощью автосамосвалов «БелАз», а по рельсам руду перевозят в вагонах-думпкарах — так груз попадает на обогатительную фабрику. Во время работы периодически происходит недогруз транспорта или же, наоборот, перегруз.
В среднем из-за недогрузов каждый состав не довозит 2-3% от учётной нормы, из-за чего приходится делать дополнительные рейсы. Это влечет за собой расход топлива и повышает вероятность преждевременного износа деталей. При перегрузе или перекосах думпкаров также возникает повышенный износ деталей, а кроме того, появляется риск выпадения кусков породы на рельсы.
Решение
Система на основе машинного зрения, которая будет оценивать качество загрузки железной руды, сравнивая его с «паспортом загрузки» — документом, где указаны нормативные значения по заполнению транспорта. Также по плану цифровой сервис будет выдавать корректирующие рекомендации для специалистов СГОКа.
Контроль будет производиться во всех местах погрузки: в карьере, где автосамосвалы забирают сырьё, и на железнодорожной станции, где породу загружают в думпкары. В дальнейшем возможна установка компонентов системы непосредственно на ковше экскаватора.
Те проблемы на производстве, с которыми несколько лет назад приходилось мириться, сегодня можно решить с помощью технологий ИИ.
Этапы внедрения
Если описать очень верхнеуровнево, то этапы интеграции системы выглядят так:
- проектирование решения и оценка экономического эффекта;
- подбор и монтаж оборудования (видеокамеры, сервера, компьютеры и т.д);
- сбор данных;
- разметка и тренировка нейросети;
- тестирование;
- доработка алгоритмов нейросети;
- разработка backend-сервисов и интеграция с системами НЛМК;
- масштабирование системы на десять стационарных точек.
На данный момент мы закончили первый этап проекта: проверили гипотезу, что такая система технически реализуема, а также разработали прототип на полевом оборудовании. Помимо этого, рассчитали потенциальный экономический эффект от внедрения.
Чтобы проверить гипотезу, на две точки мы установили автономные камеры GoPro и мобильные источники питания. Дополнительно сделали выезды с минимальным набором оборудования для промышленной эксплуатации — влагозащитными и инфракрасной камерами. В течение недели видеокамеры фиксировали автосамосвалы и думпкары с разных ракурсов. Полученные данные использовали, чтобы разметить и обучить первые модели нейросети.
Второй этап проекта будет включать установку системы на 10+ стационарных точках и интеграцию с системами НЛМК. В материале рассказываем о первой части проекта — именно о проверке гипотезы на примере думпкаров.
Установка видеооборудования и сбор данных
Мы съездили на железнодорожную станцию, чтобы оценить место, где будут установлены видеокамеры. Изучили условия, окружение, учли разные ракурсы и определили, что попадёт в кадр. Для самого первого теста использовали камеры GoPro с объективом фишай, но затем от них отказались в пользу обычных камер.
«Рыбий глаз» искажает картинку, а из-за этого приходилось «исправлять» изображения программным способом.
Всё оборудование для точек подбирали исходя из того, что в карьере довольно агрессивные условия — летом очень жарко, а зимой холодно, а также с учётом того, что оно будет находиться в зоне взрывных работ.
Чтобы ускорить процесс и точность подбора техники, наш специалист по 3D смоделировал копию стационарной точки. Это позволило подобрать конфигурацию камер, не выезжая на места для постоянной проверки. Кроме того, с помощью такой модели можно «переключаться» между днём и ночью, чтобы оценить качество изображения.
Сцена была смоделирована со всеми объектами, например, мы рассчитали точную высоту столба и определили, как нужно расположить на нём камеры, после чего смогли воссоздать предполагаемую картинку. В процессе учитывали такие важные моменты, как фокусное расстояние и необходимое количество света для детализированного изображения. Экспериментировали со стационарными точками, чтобы у камер был подходящий угол обзора и необходимая дальность съёмки. Учитывали, с какой стороны будет восход или закат, чтобы не было засветов в объективе.
Для непростых условий выбрали влагозащищенные камеры Hikvision, а также инфракрасную камеру глубины Intel RealSense D40055. Из-за того, что всё оборудование находятся в карьере, оно помещено в специальную защиту — телекоммуникационные шкафы, которые обычно используют в своей работе сотовые операторы. Они не только «спасают» камеры от пыли и грязи, но и самостоятельно охлаждаются, когда жарко, и нагреваются, если на улице становится холодно.
А для инфракрасной камеры отдельно сделали корпус из алюминия, так как она не предназначена для работы на улице.
Ручная разметка — довольно длительный процесс. Обработка одного фото занимает примерно 10-20 минут. Кроме того, каждый кадр нужно валидировать (2-5 минуты), но мы долго выбирали, что именно мы будем размечать, что распознавать, а также анализировать ли только ближайший вагон или вообще всё (от этого зависел объём работ). В итоге решили размечать всё, и на разметку и валидацию одного фото стало уходить 30-60 минут, плюс умножить это время на тысячу кадров.
Это довольно монотонная работа, поэтому, чтобы глаз «не замылился», мы привлекали команду разметчиков, которые продолжили обрабатывать следующие фото. Первую версию модели обучили на 70% изображений и проверили на оставшихся 30%, чтобы избежать переобучения.
Для повышения стабильности работы нейросети дополнительно в работе использовали синтетические данные. Синтетические = ненастоящие. Чтобы их создать, в нашем случае мы разработали 3D-модель думпкара, а затем написали скрипт, который в случайном порядке генерировал перегрузы, недогрузы и негабарит.
Удобство синтетики ещё и в том, что все изображения на выходе сразу размечены. При этом один кадр создается около двух минут, а генерацию можно запустить на нескольких компьютерах в режиме «нон стоп».
Мы обучили нейросеть на тысяче фото, дополнительно добавили синтетических данных и получили первую работоспособную модель. После добавили ещё размеченных кадров вручную и получили вторую улучшенную версию. На этом этапе этого достаточно, чтобы запустить MVP и проверить всё на нескольких стационарных точках в реальных условиях.
Дальше будем дообучать модель, если это понадобится. Например, если в продолжении проекта условия сильно поменяются (туман, снег, дождь). Также если поймем, что нужно итеративное улучшение модели — если технический эффект окажется сильно завязан на её качество. Будем экспериментировать с другими архитектурами, подходами и количеством данных, чтобы «выжимать» проценты производительности.
Как работает система
Всего на железнодорожные пути «смотрят» три камеры.
Первая установлена на столбе — она направлена вниз, непосредственно на вагон с железной рудой. Данные с камеры отправляются на сервер, где алгоритмы обрабатывают изображение: фиксируют отступы по краям и оценивают равномерность погрузки сырья. Требования по отступам указаны в «паспорте загрузки» — это помогает избежать инцидентов со скатыванием камней с думпкара во время транспортировки породы.
Вторая камера установлена сбоку и снимает горку (вершину) отгруженной железной руды. Это позволяет найти физический центр массы, что также помогает определить, правильно ли загружен думпкар. Так как перекосы в одну из сторон ведут к повышенному износу оборудования.
Третья камера — инфракрасная камера глубины, помогает анализировать объём. Она создаёт профиль поверхности и позволяет алгоритму определить высоту пика горки с погрешностью до десяти сантиметров.
Использование камеры глубины позволит добавить аналитической системе еще одну интересную особенность — она сможет определять вес (быть своего рода дистанционными весами). Это можно сделать следующим образом: так как мы знаем профиль и геометрию кузова, то с помощью довольно простых математических формул можно рассчитать объём, а зная, какая порода идёт и какого она объёма, мы сможем сказать, какого она веса. Для этого нужно плотность умножить на объём.
Кроме видеокамер, на точке установлены прожекторы на 72 тысячи люменов (такие используют на стадионах). С их помощью изображение получается чётким даже в тёмное время суток.
Камеры в реальном времени передают видео на сервер, где уже алгоритмы обрабатывают данные. Чтобы система могла работать автономно, на стационарной точке установлен мини-компьютер и подведено питание.
На данный момент система умеет определять, что в думпкарах и автосамосвалах находится железная руда, а также может сравнить качество загрузки с «паспортом загрузки».
Для того чтобы процесс транспортировки был максимально эффективным с точки зрения экономики, мы опираемся на очень важный параметр — коэффициент использования грузоподъёмности. Ведь если мы равномерно и правильно загружаем кузов машины, то мы в полной мере используем её ресурс. Однако по итогам 2020 года мы получили усредненный недогруз ж/д и автотранспорта на уровне 2%. И это при том, что точечно были зафиксированы и перегрузы. Коэффициент загрузки транспорта на уровне 100% — наша цель, в достижении которой нам помогает цифровой сервис.
Система на основе машинного зрения делает вывод о проценте загрузки транспорта, а также о правильности его загрузки. Важно, как мы дальше можем использовать этот инструмент. При помощи системы мы можем в реальном времени дать обратную связь машинисту экскаватора и оперативно скорректировать загрузку. Если по каким-то причинам не удалось скорректировать загрузку, очень важно довести эту информацию до водителя «БелАЗа» или машиниста тягового агрегата. Если водитель или машинист понимают риски, связанные с неправильной загрузкой, они могут обеспечить более аккуратную транспортировку и избежать аварий и других нештатных ситуаций.
Ожидаемые результаты и планы на конец 2021
Планы на ближайшее будущее: дообучить модель для нового набора оборудования и интегрировать сервис с информационными системами СГОКа, чтобы данные об объёме и качестве загрузок передавались автоматически. А специалисты на местах могли оперативно вносить корректировки в процесс загрузки. Кроме того, масштабировать решение на десять стационарных точек, где работают думпкары и «БелАзы».
Ожидаемый экономический эффект на конец 2022 года:
- исключить перегрузы и недогрузы и сократить расход топлива для самосвалов на 1% и электричества для думпкаров на 6,5%;
- увеличить оборот перевозимой руды на 1–2%;
- сократить количество поломок «БелАЗов»;
- помочь определить негабарит ещё до попадания на обогатительную фабрику;
- ожидается, что проект поможет сократить издержки примерно на 70 млн рублей в год.
Цель следующего этапа — это не просто качественно фиксировать перегруз или недогруз постфактум, а сообщать информацию в реальном времени, чтобы предотвратить ошибки. Таким образом мы ещё больше сократим издержки для бизнеса.
Стек технологий
При работе над системой мы применяли докеры и jupiter-ноутбуки. В качестве формата разметки использовали COCO. Корневой технологией выбрали фреймворк Detectron2 от Facebook. Он создан для работы с машинным зрением. Мы используем Instance Segmentation. У технологии есть недостатки — она плохо работает с мелкими объектами, но у нас были только большие объекты, поэтому нейросеть довольно хорошо справляется с задачей.
Так как это фреймворк, то он позволяет заменять внутри себя разные части, корневые блоки и подбирать множество параметров, которые помогают настраивать «предсказание» нейросети под себя. Мы провели работу по подбору оптимальных значений параметров и типа архитектуры нейросети.
Отдельный алгоритм разработали для усреднения результатов предсказания между кадрами. Он помогает получать усредненную информацию о перевозимой породе, а также устраняет случайные артефакты.
В итоговое решение мы интегрировали цифровые линейки, они используют результат работы модели, рассчитывают расстояния в пикселях и переводят его в привычный нам вид (в метры). Также написали инструмент для совмещения информации с трёх камер о проезжающих объектах и перевозимой породе.
Благодарим команду группы НЛМК за помощь при подготовке материала.
Профессия будущего
Прикольно, тоже занимаюсь всяческой диджитилизацией в майнинге угля.
Внедрил визуальные горные смены для диспетчеров и систему ключевых показателей для всех лпр на участках знали о всех проблемах в режиме он лайн.
Но вот вопрос, как компьютерное зрение сможет в непогоду себя показать? в снегопады?
Снегопад, сильный дождь и туман отдельная головная боль всех наружных камер наблюдения. Здесь решения классические - повышения контрастности, тренировка нейросетей на работу во всех условиях или отдельных на работу отдельно в хорошую погоду, отдельно в плохую, а также анализ изображений в другом спектре (инфракрасном). Мы будем использовать все эти подходы, пока что это в работе
и еще вопрос.
вы пишите:
Ожидаемый экономический эффект на конец 2022 года:
- исключить перегрузы и недогрузы и сократить расход топлива для самосвалов на 1% и электричества для думпкаров на 6,5%;
- увеличить оборот перевозимой руды на 1–2%;
- сократить количество поломок «БелАЗов»;
- помочь определить негабарит ещё до попадания на обогатительную фабрику;
- ожидается, что проект поможет сократить издержки примерно на 70 млн рублей в год.
1. За счет чего сократиться расход топлива? как тонна недогруза или перегруза повлияет на удельный расход топлива? (г*т*км), не будет ли данный 1% в пределах погрешности и не будет ли он съеден во время простоев в заведенным мотором?
2. увеличение грузооброта на 1-2% как? если убрали недогрузы, то и уменьшили ТКМ по итогу, что вы увеличиваете в замен? как потом сверить с маркзамером?
3. сокращение поломок.... допустим
4. определение не габорита... согласен, но наверно тут вопрос идет более к БВР, сомневаюсь что экскаваторщик будет рвать ковш негабаритом и не раздолбанной во время БВР рудой
5. 70 мультов экономии на издержках... вот тут ваще интересно что входит в издержки? я предполагаю и выше сказанного следующее: мифическая экономия на 1% топлива и непонятным образом увеличенный грузооборот (ведь время цикла вы не поменяли а перегрузы убрали) ну допустим еще сэкономили на ремонтах. 70 мультов по году. на этом Гоке всего 10 Белазов работают?...
Дополнительные вопросы:
1. Какова скорость прохождения через рамки с камерами?
2. Какова средняя скорость груженного самосвала?
3. На сколько по времени увеличиться цикл с применением Вашей технологии?
Дополнение:
1. на выставке в Новокузнецке 2021 года по углю, с подобным решением подходили немцы ко мне... И вопрос 1 из дополнительных вопросов просто уничтожил всю задумку, увы. Хотя идея мне понравилась. в двух словах, используя их технологию я терял порядка 4 рейсов 220 тонных самосвалов за смену, это 8 в сутки это 643 тыс тонн по году на одном самосвале....и никакие 70 мультов и 1% на топливо не сравняться с недополученным грузооборотом
Ответы на все эти вопросы потянут на отдельный доклад, но я постараюсь быть краток))
Согласование технического и экономического эффекта, это сложный длинный путь. Если вы работаете с подобного типа проектами, думаю, что тоже сталкивались с прохождением через контроллинг, экономистов и подтверждением технических эффектов. Соответственно на данном этапе в качестве эффекта принимается самый минимум.
Далее по вопросам:
1. За эталонные замеры сейчас принимаются маркшейдерские замеры. Учет же при логистике ведется или по весу, или по паспортному объему техники. В среднем на длинных горизонтах, маркшейдеры фиксируют объем ниже на несколько процентов, чем учетный.
Это значит, что на текущий момент техника не всегда используется оптимально, и для транспортировки общего объема руды в год, потребуется совершить несколько процентов дополнительных рейсов. Система конечно не сделает процесс идеальным, но лишний процент эффективности точно добавит.
2. Если правильно понял вопрос, то ответ в п.1
4. Негабарит. Негабариты (в нашем случае это куски больше 1200мм по одной стороне) так или иначе регулярно доезжают до фабрики, и тормозят производственный процесс, требуют привлечения бутобоя или проскакивают в дробилки и тогда, в зависимости от ситуации, или риск поломки оборудования, или проблемы по извлечению. Соответственно задача отлавливать негабариты на предшествующих этапах. Экскаваторщики обычно откладывают их в сторонку, потом подходит техника для измельчения.
5. Не 10 конечно) ГОК перерабатывает более 40 млн.тонн в год. Убрали "кривую загрузку", которая ведет к повышенному износу и недогрузы, которые в конечном итоге увеличивают необходимое число рейсов.
По доп.вопросам.
1. Это не совсем рамка, это Г-образная конструкция, соответственно сложностей с проходом через нее нет, и скорость можно не снижать. Достаточно держаться полосы, чтобы проходить в зоне видимости камеры. Когда мы ставили систему и анализировали результат, никаких проблем с размытием и прочим не было.
2. Я не скажу точную скорость, движения самосвала на данном участке, на глаз 20-30 км/час.
3. Хороший вопрос, точного ответа в настоящий момент нет, думаю, что смогу дать осенью. Дело в том, что качество погрузки лежит на машинисте экскаватора, и как изменится время погрузки мне сейчас сказать сложно, многое зависит от опыта каждого конкретного машиниста, а так же накопившейся практики после внедрения системы.
Простите, но у меня бомбануло, поэтому не смог прочитать дальше двух абзацев.
К чему этот огород, если нормальный весовой регистратор или просто тензоось с контроллером стоит не так уже дорого встроить в конструкцию самосвала (другой вопрос, почему его там нет). Это решение с точностью в несколько процентов с мгновенной индикацией, возможность передать данные в асутп, да и вообще куда угодно. К чему тут машинное зрение?
Парк самосвалов модифицировать дорого тут веса на порядок больше и погрешности которые дает такое оборудование тоже выше на порядок. В целом вы правы с датчиков о тоннаже можно определить нагрузку на ось с высокой точностью, но этих параметров для обеспечения безопасного движения и прогнозирования не достаточно. CV решение позволяет не дорабатывать текущий парк а именно каждое ТС, а позволит установить 2-3 контрольные точки. Кроме того, CV решение позволяет оценить также расстояние породы от краев и наличие негабаритов, чего весовые датчики не могут предоставить, отступы от краев особенно важно проверять на думпкарах(вагонах), где падающие с состава камни повреждают ЖД оборудование, что влечет за собой сходы и заваливание техники.