Алгоритмы для промышленности: как ИИ повышает эффективность транспортировки железной руды на Стойленском ГОКе
RDL by red_mad_robot совместно с группой НЛМК рассказывают, как машинное зрение сделает процесс по перевозке сырья на Стойленском горно-обогатительном комбинате безопаснее и в перспективе позволит сократить издержки на семьдесят миллионов рублей в год.
По плану цифровая система будет контролировать качество загрузки автосамосвалов и думпкаров (вагонов-самосвалов), а также оценивать объём перевозимой породы на Стойленский ГОК.
Работу над проектом начали в конце 2020 года, а недавно закончился этап проверки гипотезы: компьютерное зрение успешно протестировали на двух точках. В августе будет запущен MVP, после чего систему установят ещё минимум в десяти стационарных точках на СГОКе.
Подробнее о решении, этапе проектирования и тестирования, а также о том, какой результат ожидается для производства, рассказываем в статье.
Про НЛМК и место интеграции системы — СГОК
Группа НЛМК — международная сталелитейная компания с активами в России, США, Индии и странах Европы. Выполняет полный цикл производства — от добычи сырья до выпуска готовой продукции.
Стойленский горно-обогатительный комбинат обеспечивает потребности группы в железорудном сырье и занимает третье место в России по объёму добычи. На его долю приходится более 16% производства всей товарной руды в стране.
Проблематика
Для добычи железной руды породу в карьере разрыхляют с помощью буровзрывных работ. После чего экскаваторы грузят горную массу в транспорт: доставка до железнодорожной ветки происходит с помощью автосамосвалов «БелАз», а по рельсам руду перевозят в вагонах-думпкарах — так груз попадает на обогатительную фабрику. Во время работы периодически происходит недогруз транспорта или же, наоборот, перегруз.
В среднем из-за недогрузов каждый состав не довозит 2-3% от учётной нормы, из-за чего приходится делать дополнительные рейсы. Это влечет за собой расход топлива и повышает вероятность преждевременного износа деталей. При перегрузе или перекосах думпкаров также возникает повышенный износ деталей, а кроме того, появляется риск выпадения кусков породы на рельсы.
Решение
Система на основе машинного зрения, которая будет оценивать качество загрузки железной руды, сравнивая его с «паспортом загрузки» — документом, где указаны нормативные значения по заполнению транспорта. Также по плану цифровой сервис будет выдавать корректирующие рекомендации для специалистов СГОКа.
Контроль будет производиться во всех местах погрузки: в карьере, где автосамосвалы забирают сырьё, и на железнодорожной станции, где породу загружают в думпкары. В дальнейшем возможна установка компонентов системы непосредственно на ковше экскаватора.
Этапы внедрения
Если описать очень верхнеуровнево, то этапы интеграции системы выглядят так:
- проектирование решения и оценка экономического эффекта;
- подбор и монтаж оборудования (видеокамеры, сервера, компьютеры и т.д);
- сбор данных;
- разметка и тренировка нейросети;
- тестирование;
- доработка алгоритмов нейросети;
- разработка backend-сервисов и интеграция с системами НЛМК;
- масштабирование системы на десять стационарных точек.
На данный момент мы закончили первый этап проекта: проверили гипотезу, что такая система технически реализуема, а также разработали прототип на полевом оборудовании. Помимо этого, рассчитали потенциальный экономический эффект от внедрения.
Чтобы проверить гипотезу, на две точки мы установили автономные камеры GoPro и мобильные источники питания. Дополнительно сделали выезды с минимальным набором оборудования для промышленной эксплуатации — влагозащитными и инфракрасной камерами. В течение недели видеокамеры фиксировали автосамосвалы и думпкары с разных ракурсов. Полученные данные использовали, чтобы разметить и обучить первые модели нейросети.
Второй этап проекта будет включать установку системы на 10+ стационарных точках и интеграцию с системами НЛМК. В материале рассказываем о первой части проекта — именно о проверке гипотезы на примере думпкаров.
Установка видеооборудования и сбор данных
Мы съездили на железнодорожную станцию, чтобы оценить место, где будут установлены видеокамеры. Изучили условия, окружение, учли разные ракурсы и определили, что попадёт в кадр. Для самого первого теста использовали камеры GoPro с объективом фишай, но затем от них отказались в пользу обычных камер.
«Рыбий глаз» искажает картинку, а из-за этого приходилось «исправлять» изображения программным способом.
Всё оборудование для точек подбирали исходя из того, что в карьере довольно агрессивные условия — летом очень жарко, а зимой холодно, а также с учётом того, что оно будет находиться в зоне взрывных работ.
Чтобы ускорить процесс и точность подбора техники, наш специалист по 3D смоделировал копию стационарной точки. Это позволило подобрать конфигурацию камер, не выезжая на места для постоянной проверки. Кроме того, с помощью такой модели можно «переключаться» между днём и ночью, чтобы оценить качество изображения.
Для непростых условий выбрали влагозащищенные камеры Hikvision, а также инфракрасную камеру глубины Intel RealSense D40055. Из-за того, что всё оборудование находятся в карьере, оно помещено в специальную защиту — телекоммуникационные шкафы, которые обычно используют в своей работе сотовые операторы. Они не только «спасают» камеры от пыли и грязи, но и самостоятельно охлаждаются, когда жарко, и нагреваются, если на улице становится холодно.
А для инфракрасной камеры отдельно сделали корпус из алюминия, так как она не предназначена для работы на улице.
Для повышения стабильности работы нейросети дополнительно в работе использовали синтетические данные. Синтетические = ненастоящие. Чтобы их создать, в нашем случае мы разработали 3D-модель думпкара, а затем написали скрипт, который в случайном порядке генерировал перегрузы, недогрузы и негабарит.
Удобство синтетики ещё и в том, что все изображения на выходе сразу размечены. При этом один кадр создается около двух минут, а генерацию можно запустить на нескольких компьютерах в режиме «нон стоп».
Мы обучили нейросеть на тысяче фото, дополнительно добавили синтетических данных и получили первую работоспособную модель. После добавили ещё размеченных кадров вручную и получили вторую улучшенную версию. На этом этапе этого достаточно, чтобы запустить MVP и проверить всё на нескольких стационарных точках в реальных условиях.
Как работает система
Всего на железнодорожные пути «смотрят» три камеры.
Первая установлена на столбе — она направлена вниз, непосредственно на вагон с железной рудой. Данные с камеры отправляются на сервер, где алгоритмы обрабатывают изображение: фиксируют отступы по краям и оценивают равномерность погрузки сырья. Требования по отступам указаны в «паспорте загрузки» — это помогает избежать инцидентов со скатыванием камней с думпкара во время транспортировки породы.
Вторая камера установлена сбоку и снимает горку (вершину) отгруженной железной руды. Это позволяет найти физический центр массы, что также помогает определить, правильно ли загружен думпкар. Так как перекосы в одну из сторон ведут к повышенному износу оборудования.
Третья камера — инфракрасная камера глубины, помогает анализировать объём. Она создаёт профиль поверхности и позволяет алгоритму определить высоту пика горки с погрешностью до десяти сантиметров.
Кроме видеокамер, на точке установлены прожекторы на 72 тысячи люменов (такие используют на стадионах). С их помощью изображение получается чётким даже в тёмное время суток.
Камеры в реальном времени передают видео на сервер, где уже алгоритмы обрабатывают данные. Чтобы система могла работать автономно, на стационарной точке установлен мини-компьютер и подведено питание.
На данный момент система умеет определять, что в думпкарах и автосамосвалах находится железная руда, а также может сравнить качество загрузки с «паспортом загрузки».
Ожидаемые результаты и планы на конец 2021
Планы на ближайшее будущее: дообучить модель для нового набора оборудования и интегрировать сервис с информационными системами СГОКа, чтобы данные об объёме и качестве загрузок передавались автоматически. А специалисты на местах могли оперативно вносить корректировки в процесс загрузки. Кроме того, масштабировать решение на десять стационарных точек, где работают думпкары и «БелАзы».
Ожидаемый экономический эффект на конец 2022 года:
- исключить перегрузы и недогрузы и сократить расход топлива для самосвалов на 1% и электричества для думпкаров на 6,5%;
- увеличить оборот перевозимой руды на 1–2%;
- сократить количество поломок «БелАЗов»;
- помочь определить негабарит ещё до попадания на обогатительную фабрику;
- ожидается, что проект поможет сократить издержки примерно на 70 млн рублей в год.
Стек технологий
При работе над системой мы применяли докеры и jupiter-ноутбуки. В качестве формата разметки использовали COCO. Корневой технологией выбрали фреймворк Detectron2 от Facebook. Он создан для работы с машинным зрением. Мы используем Instance Segmentation. У технологии есть недостатки — она плохо работает с мелкими объектами, но у нас были только большие объекты, поэтому нейросеть довольно хорошо справляется с задачей.
Так как это фреймворк, то он позволяет заменять внутри себя разные части, корневые блоки и подбирать множество параметров, которые помогают настраивать «предсказание» нейросети под себя. Мы провели работу по подбору оптимальных значений параметров и типа архитектуры нейросети.
Отдельный алгоритм разработали для усреднения результатов предсказания между кадрами. Он помогает получать усредненную информацию о перевозимой породе, а также устраняет случайные артефакты.
В итоговое решение мы интегрировали цифровые линейки, они используют результат работы модели, рассчитывают расстояния в пикселях и переводят его в привычный нам вид (в метры). Также написали инструмент для совмещения информации с трёх камер о проезжающих объектах и перевозимой породе.
Благодарим команду группы НЛМК за помощь при подготовке материала.
#ии #ai #ml #машинноеобучение #искусственныйинтеллект #промышленность #цифроваятрансформация #нлмк #redmadrobot
Профессия будущего
Прикольно, тоже занимаюсь всяческой диджитилизацией в майнинге угля.
Внедрил визуальные горные смены для диспетчеров и систему ключевых показателей для всех лпр на участках знали о всех проблемах в режиме он лайн.
Но вот вопрос, как компьютерное зрение сможет в непогоду себя показать? в снегопады?
Снегопад, сильный дождь и туман отдельная головная боль всех наружных камер наблюдения. Здесь решения классические - повышения контрастности, тренировка нейросетей на работу во всех условиях или отдельных на работу отдельно в хорошую погоду, отдельно в плохую, а также анализ изображений в другом спектре (инфракрасном). Мы будем использовать все эти подходы, пока что это в работе
У меня другая метода допишу проект по анализу качества рейсов, циклов в карьерном деле опишу идею проекта дам вам знать. На мат моделе проверил, работает идиально. Хочу в массе проверить гипотизу.
и еще вопрос.
вы пишите:
Ожидаемый экономический эффект на конец 2022 года:
- исключить перегрузы и недогрузы и сократить расход топлива для самосвалов на 1% и электричества для думпкаров на 6,5%;
- увеличить оборот перевозимой руды на 1–2%;
- сократить количество поломок «БелАЗов»;
- помочь определить негабарит ещё до попадания на обогатительную фабрику;
- ожидается, что проект поможет сократить издержки примерно на 70 млн рублей в год.
1. За счет чего сократиться расход топлива? как тонна недогруза или перегруза повлияет на удельный расход топлива? (г*т*км), не будет ли данный 1% в пределах погрешности и не будет ли он съеден во время простоев в заведенным мотором?
2. увеличение грузооброта на 1-2% как? если убрали недогрузы, то и уменьшили ТКМ по итогу, что вы увеличиваете в замен? как потом сверить с маркзамером?
3. сокращение поломок.... допустим
4. определение не габорита... согласен, но наверно тут вопрос идет более к БВР, сомневаюсь что экскаваторщик будет рвать ковш негабаритом и не раздолбанной во время БВР рудой
5. 70 мультов экономии на издержках... вот тут ваще интересно что входит в издержки? я предполагаю и выше сказанного следующее: мифическая экономия на 1% топлива и непонятным образом увеличенный грузооборот (ведь время цикла вы не поменяли а перегрузы убрали) ну допустим еще сэкономили на ремонтах. 70 мультов по году. на этом Гоке всего 10 Белазов работают?...
Дополнительные вопросы:
1. Какова скорость прохождения через рамки с камерами?
2. Какова средняя скорость груженного самосвала?
3. На сколько по времени увеличиться цикл с применением Вашей технологии?
Дополнение:
1. на выставке в Новокузнецке 2021 года по углю, с подобным решением подходили немцы ко мне... И вопрос 1 из дополнительных вопросов просто уничтожил всю задумку, увы. Хотя идея мне понравилась. в двух словах, используя их технологию я терял порядка 4 рейсов 220 тонных самосвалов за смену, это 8 в сутки это 643 тыс тонн по году на одном самосвале....и никакие 70 мультов и 1% на топливо не сравняться с недополученным грузооборотом
Ответы на все эти вопросы потянут на отдельный доклад, но я постараюсь быть краток))
Согласование технического и экономического эффекта, это сложный длинный путь. Если вы работаете с подобного типа проектами, думаю, что тоже сталкивались с прохождением через контроллинг, экономистов и подтверждением технических эффектов. Соответственно на данном этапе в качестве эффекта принимается самый минимум.
Далее по вопросам:
1. За эталонные замеры сейчас принимаются маркшейдерские замеры. Учет же при логистике ведется или по весу, или по паспортному объему техники. В среднем на длинных горизонтах, маркшейдеры фиксируют объем ниже на несколько процентов, чем учетный.
Это значит, что на текущий момент техника не всегда используется оптимально, и для транспортировки общего объема руды в год, потребуется совершить несколько процентов дополнительных рейсов. Система конечно не сделает процесс идеальным, но лишний процент эффективности точно добавит.
2. Если правильно понял вопрос, то ответ в п.1
4. Негабарит. Негабариты (в нашем случае это куски больше 1200мм по одной стороне) так или иначе регулярно доезжают до фабрики, и тормозят производственный процесс, требуют привлечения бутобоя или проскакивают в дробилки и тогда, в зависимости от ситуации, или риск поломки оборудования, или проблемы по извлечению. Соответственно задача отлавливать негабариты на предшествующих этапах. Экскаваторщики обычно откладывают их в сторонку, потом подходит техника для измельчения.
5. Не 10 конечно) ГОК перерабатывает более 40 млн.тонн в год. Убрали "кривую загрузку", которая ведет к повышенному износу и недогрузы, которые в конечном итоге увеличивают необходимое число рейсов.
По доп.вопросам.
1. Это не совсем рамка, это Г-образная конструкция, соответственно сложностей с проходом через нее нет, и скорость можно не снижать. Достаточно держаться полосы, чтобы проходить в зоне видимости камеры. Когда мы ставили систему и анализировали результат, никаких проблем с размытием и прочим не было.
2. Я не скажу точную скорость, движения самосвала на данном участке, на глаз 20-30 км/час.
3. Хороший вопрос, точного ответа в настоящий момент нет, думаю, что смогу дать осенью. Дело в том, что качество погрузки лежит на машинисте экскаватора, и как изменится время погрузки мне сейчас сказать сложно, многое зависит от опыта каждого конкретного машиниста, а так же накопившейся практики после внедрения системы.
Простите, но у меня бомбануло, поэтому не смог прочитать дальше двух абзацев.
К чему этот огород, если нормальный весовой регистратор или просто тензоось с контроллером стоит не так уже дорого встроить в конструкцию самосвала (другой вопрос, почему его там нет). Это решение с точностью в несколько процентов с мгновенной индикацией, возможность передать данные в асутп, да и вообще куда угодно. К чему тут машинное зрение?
Парк самосвалов модифицировать дорого тут веса на порядок больше и погрешности которые дает такое оборудование тоже выше на порядок. В целом вы правы с датчиков о тоннаже можно определить нагрузку на ось с высокой точностью, но этих параметров для обеспечения безопасного движения и прогнозирования не достаточно. CV решение позволяет не дорабатывать текущий парк а именно каждое ТС, а позволит установить 2-3 контрольные точки. Кроме того, CV решение позволяет оценить также расстояние породы от краев и наличие негабаритов, чего весовые датчики не могут предоставить, отступы от краев особенно важно проверять на думпкарах(вагонах), где падающие с состава камни повреждают ЖД оборудование, что влечет за собой сходы и заваливание техники.
Зачем все самосвалы весами оборудовать? Когда можно поставить одни при подъезде на разгрузку?
ЖД вагоны тоже взвешивают без проблем на автомате...
Тут бы автора услышать, почему ИИ выгоднее получается.
Потому что задача более комплексная, чем измерения веса и объема.
1. Большая часть самосвалов оборудованы весами, но они расположены таким образом, что если горная масса смещена к краю, значения некорректны, и в данном случае оценка объема это дополнительная кроссвалидация.
2. Контролировать паспорт погрузки (смещения, отступы, перегрузы и прочее) весами нельзя, это только визуал. А такие вещи ведут к повышенному износу техники и созданию аварийных ситуаций.
3. Так же решаются задачи связанные с анализом гран.состава и обнаружением негабаритов. Это позволяет оценивать качество проведенных взрывных работ и лучше прогнозировать производительность комплекса дробления на последующих переделах.
Тогда разумно, скоро без программиста и нефть не получится добывать по конкурентоспособным ценам.
Нипочему,поэтому все эти машинисты лернинга прописываются у заказчика. Я не против них, умные ребята, но хайповый инструмент и вообще инструмент не должен преобладать над здравым смыслом!
Хайп инструментария, на мой взгляд, в большинстве отраслей уже прошел, и каких-то завышенных ожиданий, которые сквозили несколько лет уже нет.
Сейчас это обычная разработка, не отличающаяся принципиально от разработки сервисов по автоматизации. Соответственно при запуске подобных решений считается технический и экономический эффект, и эта фаза, на которой значительная часть ML проектов убивается.
Так что здесь честная циничная рыночная картина мира, бизнес на хайповые вещи не особо желает тратить деньги. Нет эффекта, проект в мусорку.
Какая тензоось, там в машинах кондиционера то нет. Под открытым небом целый день дыша пылью и обливаясь потом будут возить руду под наблюдением ИИ
Это какие то актуальные и доказанные обвинения? Просто у других российских больших горнодобытчиков я точно знаю что это невозможно и недопустимо, парк самосвалов карьерных регулярно обновляется и оборудован не только кондиционерами, но и удаленным управлением при необходимости. С оборудованными местами операторов-водителей в комфортных условиях.
у каких других? Карьеры ЛГОКа и СГОКа видны с окна моего дома, мои друзья работают там, и отцы друзей и мой отец. Оба предприятия (ЛГОК по большой части) - это по сути то что делают город моногородом. Ты либо работаешь на ГОКе, либо в шахте комбината КМАруда. остальное редко бывает ( таксист, автомеханик и т.п)
Про парк техники слышу от лиц которую эту технику эксплуатируют каждый день.
У ЛГОКа на сколько я помню - крупнейший в мире карьер по негорючим ископаемым. Так что не знаю про каких крупных горнодобытчиков вы говорите. КОнечно есть и новая техника, но далеко не везде. Про зп уже писали. Горнодобыча с огромными объемами - зп 20-40к. На днях взорвался экскаватор вместе с водителем, потому что "самопроизвольно" сдетанировал заряд который не сработал во время подрыва перед этим. По мне так вот что нужно камерами отслеживать
За то около офиса НЛМК в мск, майбахи катаются и вообще там все дорахо бохато.
"главный специалист Управления по цифровой трансформации Дивизиона Руда" почти булшит бинго )
Название пиздец конечно. В итоге сидит чувак с помощницей и фотошопит презентации от подрядчика )))
За 40 тысяч априори не безопасно работать. Меньше, чем за 10 млн рублей в месяц там точно нельзя работать, слишком опасно
40к на СГОКе и ЛГОКе это не зп, а оклад + премия. Премиальные срезать могут за что угодно и когда угодно. и получить можно легко и меньше 30
Интересно.
А при расчётах массы породы по её объему вы игнорируете влажность породы?
В некотором смысле, мы решаем эту проблему с другой стороны.
Дело в том, что самосвалы итак оборудованы весами, да они не всегда точны, в зависимости от центра тяжести породы, но в целом дают приемлимую погрешность.
А вот перевод в объем уже хромает, как раз в силу разных факторов, таких, как влажность, средний размер куска и тип породы, а объем важен для учета на разных этапах.
Соответственно мы здесь добавляем инструмент, который позволяет более точно оценить объем и фракционный состав.
Таким образом происходит обогащение и кроссвалидация данных.
Благодарю за ответ.