{"id":13643,"url":"\/distributions\/13643\/click?bit=1&hash=a8215ceddd252b2083ce5ad9aec744ff1eefa9bc3de1c4cbfdb18016cc439e99","title":"\u0412\u044b\u0431\u0435\u0440\u0438\u0442\u0435\u0441\u044c \u0438\u0437 \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u00ab\u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u043e\u0433\u043e \u0428\u0438\u0432\u044b\u00bb","buttonText":"\u041a\u0430\u043a?","imageUuid":"6f999284-e19c-51a5-b74d-c3d432185ecb","isPaidAndBannersEnabled":false}
Nord Clan

«Стоматолог» для экскаватора, или как мы разрабатывали систему контроля целостности зубьев ковша

В России около 75% всего угля добывается открытым способом — на карьерах и в разрезах. Из карьера уголь транспортируется на дробилки, где он разбивается на относительно равные куски, а также сортируется по размерам. Одна установка обычно перерабатывает породу от множества карьерных экскаваторов. Поэтому выход из строя дробилки может парализовать работу производственного звена и остановить отгрузку продукции конечным потребителям. Одна из частых причин выхода из строя дробильных установок – отломившийся зуб ковша экскаватора. Для контроля подобных инцидентов нашей компанией Норд Клан совместно с партнером АО "Союзтехноком" для холдинга УЗТМ-КАРТЭКС была разработана "под ключ" система контроля целостности зубьев ковша экскаватора.

С чего все начиналось.

Как и любой крупный проект начинается с командировки на объект, где должна быть установлена система. Важно на месте оценить все факторы, которые могут влиять на работу готового решения. Совместно с представителями заказчика специалисты Норд Клана посетили Кедровский угольный разрез. Он расположен в 25 км севернее Кемерово. Масштабы производства и открывающиеся виды поражают своим размахом.

                                                        Рис. 1. Кедровский угольный разрез 

На производственной площадке нас ждало не менее впечатляющее зрелище – экскаватор ЭКГ-35 высотой с 6 этажный дом! Обычный автомобиль на его фоне кажется «букашкой». Этот трудяга работает практически безостановочно, изредка вставая на техническое обслуживание раз в несколько месяцев. Поэтому у нас было мало времени, чтобы его осмотреть и наметить план работ по проекту.

Рис. 2. Осматриваем экскаватор ЭКГ-35 высотой с 6 этажный дом.

Совместно с представителями Заказчика мы провели осмотр этого гиганта и условия его работы по добыче угля.

Выяснилось, что на практике контроль за состоянием зубьев ковша осуществлялся машинистами экскаватора. Визуальное наблюдение во время работы помимо больших размеров ЭКГ-35 усложняло множество факторов: освещенность в разное время суток, пыль, налипание на ковш глины, сильные вибрации стрелы.

После этого определились с задачами, которые должна решить система видеоконтроля.

Во-первых, необходимо обеспечить автономность ее работы и исключить «человеческий» фактор.

Во-вторых, необходимо предусмотреть механизмы защиты от ложных срабатываний при временном или частичном перекрытии зубьев породой, налипания глины.

В-третьих, система должна уметь прогнозировать износ зубьев и информировать машиниста о критическом износе.

Сбор данных для обучения нейронной сети распознавать износ зубьев ковша и прогнозировать их отлом.

Для решения подобных задач не обойтись без использования искусственного интеллекта, поэтому за неделю необходимо было собрать как можно больше видеоматериалов для его обучения.

В техническом задании было указано, что стрела экскаватора при добыче породы может сильно вибрировать. На тот момент мы до конца не осознавали, насколько было это замечание критично. ☹ ☹ ☹

Поставку камер в офис Nord Clan с виброзащитой на тот момент мы рассчитывали получить только через 2 месяца. Но нам требовалось не так много фактического времени съемок.Поэтому мы надеялись, что на пару дней для сбора первичных видеоматериалов хватит и обычной HD камеры видеонаблюдения.

                  Рис. 3. Монтируем проводку для установки камеры на стрелу экскаватора.

Представьте, каково было наше удивление в момент, когда экскаватор начал копать. ヽ(°° )ノ Потребовалось всего около 30 секунд, чтобы камера развалилась!

Интересный факт. Стальная пластина толщиной 8 мм (0,8 см) и длиной 40 см, закрепленная на стреле, от вибраций и низких температур покрывается трещинами и ломается за 1,5-2 месяца круглосуточной работы экскаватора.

Пришлось выкручиваться – устанавливать новую камеру и просто снимать, как экскаватор имитирует процесс копания. Если смотреть со стороны – выглядит забавно. Но зато, прочувствовав на себе суровые условия работы и всю мощь техники, мы смогли впоследствии подобрать нужный вариант камеры и вовремя скорректировать заказ на их поставку.

Итак, за неделю специалисты Норд Клана успели отснять холостую работу экскаватора, а также собрать видеоматериалы разных моделей ковшей и зубьев.

Как Вы думаете, сколько может весить один подобный зуб представленный ниже? Свои варианты также можно писать в комментариях.
до 50 кг
до 100 кг
до 150 кг
до 200 кг
до 500 кг
Показать результаты
Переголосовать
Проголосовать

                                    Рис. 4. Осматриваем ковши и зубья экскаватора.


В итоге все недостающие видеоматериалы на первом этапе разработки мы успешно заменили компьютерными моделями, а когда уже пришли нормальные камеры с виброзащитой – просто дообучили нейросеть.

По окончании командировки мы незамедлительно приступили к разработке прототипа. Ведь по плану нужно было уложиться в срок за 2 месяца, как раз до момента следующего планового техобслуживания ЭКГ-35 и соответственно его простоя.

Было 6 зубьев, стало – 5. Как мы учились их распознавать.

Самым важным этапом разработки было определиться с основой – выбрать нейронную сеть. Для проверки мы взяли несколько их видов и провели обучение. При тестировании мы, прежде всего, исходили из следующей гипотезы: если система не сможет изначально уверенно распознавать целые зубья, то она не сможет определять отломанные или износившиеся зубья.

                              Видео 1. Тестируем работу разных видов нейронных сетей

Нейронная сеть Yolo v5 показала лучший результат, и мы взяли ее за основу. Она корректно определяла зубья во всех случаях, что позволило нам с уверенностью говорить о потенциальной успешности проекта.

Определившись с базой, мы постепенно начали доучивать модель видеть и другие детали – износился ли зуб, или он вообще отломан? Логику работы решения лучше всего описать через процесс калибровки. Эта настройка заложена в системе, является стартовой и позволяет адаптировать работу ПО под любые марки экскаваторов, а также под разные модели ковшей.

Чтобы откалибровать ковш необходимо при пуско-наладочных работах выполнить несложные манипуляции - экскаватор должен в течение 1 минуты отрабатывать в холостую, эмитируя процесс копания. Этого времени более чем достаточно, чтобы нейронная сеть смогла определить контуры зубьев, их количество и начать производить их подсчет в автоматическом режиме.

                                          Рис. 5. Тестируем процесс калибровки зубьев

По-сути процесс определения отломан ли зуб у ковша сводится к задаче подсчета их количества и сравнению с первоначальным числом, определенным в процессе калибровки. При этом мы добились того, чтобы нейронная сеть правильно определяла контуры зубьев даже в тех случаях, когда порода налипает на сам зуб, или застревает между ними.

Единственный случай, когда нейронная сеть точно не сработает – если все пространство без просветов между зубьями забьет глина. Это можно сравнить с постройкой дома. Вначале вяжут арматуру, а затем все заливают бетоном. Получается прочный каркас. Нейронная сеть на основе видео с камер машинного зрения сможет определить, дефекты бетона, но саму арматуру увидеть, к сожалению не сможет.

Для решения подобной задачи используются специализированные датчики детектирующие, что находится внутри конструкции. На разрезе подобные события – редкость. В основном они связаны с разработкой новых месторождений, когда экскаватор при копке проходит глинистый слой, углубляясь в плодоносный. Чтобы в эти моменты система ложно не срабатывала, предусмотрен режим, который называется соответствующе – «Глина», и работает без изяществ – отключает нейронную сеть и дает ей отдохнуть.

P.S. Важное замечание от технарей NordClan :)

Отдельно отметим, что разработанное решение мы с пристрастием тестировали в разных условиях работы. Во всех приведенных случаях система работала корректно. Список условий для испытаний достаточно внушительный:

- при разной степени освещенности: в ночное время (контуры ковша плохо видны), при ярком свете солнца (зубья блестят как золото);

- при разной погоде: в метель, при сильных порывах ветра (в воздух в этот момент поднимается много пыли);

- при копке разных слоев пласта и в случае перекрытия породой части зубьев. Минимальное достаточное условие, чтобы система смогла определить зубья - если остается хотя бы один небольшой, но видимый просвет между двумя зубьями.

А что делать, если зуб экскаватора цел, но в нем образовался «кариес»?

В производственной практике сложился опыт, который позволяет оценить степень износа по тому, насколько зуб сточился во время работы по своей длине:

10-20% - умеренный износ;

*20-40% - критический износ.

* При критическом износе фактически считается, что экскаватор работать не может, так как в любой момент зуб может отломиться.

Как мы уже говорили ранее, в процессе калибровки нейронная сеть определяет контуры зубьев и начинает считать их количество. Но это еще не все. Помимо этого система фиксирует у себя «в памяти» эталонную длину зубьев в разных положениях. Далее нейронная сеть сопоставляет разницу в их размерах в процессе работы экскаватора.

Выглядит легко и логично, но на практике реализация вызвала ряд затруднений. Отличие длины нового зуба от изношенного на видео картинке, получаемой с камеры, могло достигать всего 10-15 пикселей. Нужно было придумать механизм, как убрать ложные срабатывания в случае нечеткости кадра или естественных помех.

Для решения задачи мы разработали систему, когда оценка износа происходит не по одному замеру и одному кадру из видео, а берется последовательность кадров с небольшими смещениями относительно друг друга. Так накапливается статистическое и усредненное значение размеров зубьев.

Вот так все работает. От "лирики" постепенно переходим к железу.

Отнеслись с заботой к установке аппаратной части на экскаватор. Потребовалась ювелирная точность.

Пришло время поговорить об аппаратной части. При подборе оборудования для установки на экскаватор, учитывая наш предыдущий горький опыт с первый камерой, мы со всей серьезностью начали изучать предложения производителей.

Напомним о наших требованиях к оборудованию:

Во-первых, на Кедровском разрезе диапазон температур может колебаться от -60 до +40 на улице и от -30 до +40 в кабине машиниста.

Во-вторых, для камеры машинного зрения требовалась усиленная виброзащита.

После долгих и продолжительных поисков, мы остановились на варианте со следующими характеристиками:

  • Рабочая температура: -60 °C…+85 °C (искали для сибирских морозов, но она подходит и для Африки!).
  • Класс защиты: IP68 | IP69K.
  • Ударопрочность: 50g;
  • Вибропрочность: 5 g.

Кроме этого было подобрано специальное место установки, где наименьший шанс, что камера вступит в резонанс с колебаниями от стрелы. После установки мы каждый день молились, чтобы она не отлетела. И наши просьбы были услышаны. По итогам 7 месяцев работы на креплении пока нет даже намеков на поломку.

Сервер мы расположили непосредственно в кабине машиниста. Так как питание изначально предполагалось подавать от трансформатора экскаватора (2500 кВА), то предусмотрительно оснастили оборудование системой защитой от перенапряжения и скачков. Над шкафом разместился монитор, на котором машинист сможет видеть работу программы и получать информация о состоянии зубьев.

                                   Рис. 6. Собираем аппаратную часть прототипа.

Отдельно стоит упомянуть про нашего героя во время тестирования, отладки и доработки системы, выполнявшего функцию связующего звена между разработчиками и работающим прототипом – 3G модем. Он работал круглосуточно, в отличие от людей.

Для понимания – чтобы скачать кусок видео весом 1-2 Гб требовалось ждать порой несколько суток. Скорость передачи данных ограничивалась не только возможностями сотовой вышки на месте, но и естественными преградами на пути следования сигнала. Если экскаватор работал на дне разреза, то боковые своды пройденного пласта могли достигать высоты 20-40 метров, а сама глубина карьера «на глазок» достигала более 100 метров. Из-за этого периодически в разных местах напрочь блокируется работа сотовой связи из отсутствия сигнала. Сейчас думаем, что голубиная почта в эти моменты работала бы намного быстрее. Возможно, внедрим такую функцию в будущем.

Работа системы в боевых условиях. Итоги и планы.

Как итог нашим стараниям – специалисты Nord Clan уложились за 2 месяца разработать работающий прототип, подобрать оборудование и установить его на экскаватор. В январе 2022 года во время планового технического обслуживания на ЭКГ-35 мы произвели его монтаж.

                                                      Видео 2. Эмуляция отлома зуба.

Ребята из АО "Союзтехноком" сильно нам помогли при проведении испытаний. Их стараниями на разрезе были протестированы все возможные варианты работы системы уже в боевых условиях. От работы экскаватора при свете луны, до прохода глинястого слоя. Один из подобных тестов представлен на рисунке ниже. Кому-то в голову пришел интересный вариант тестирования - накрыть часть зубьев пленкой и проверить сможет ли система определить, что зубья не отломаны, а "залеплены" породой. Тест выполнен на 5-ку!

                      Рис. 7. Тестируем правильно ли система определит, что зубья целы.

При этом во время работы на мониторе выводится изображение с камеры, под которым наглядно показана схема состояния зубьев.

От 100% и до 80% - умеренный, допустимый износ.

от 79% до 60% - значительный износ.

ниже 60% - критический износ, пора обращаться к стоматологу!

Если система определяет, что одного и более зубьев нет, а эта ситуация повторяется на протяжении 30 секунд подряд (защита от ложного срабатывания), фиксируется событие поломки зуба. Машинист получает звуковой и визуальный сигналы.

По истечении полугода работы системы в боевых условиях можно с уверенностью сказать, что поставленные по проекту задачи успешно выполнены. За это время у Заказчика не возникло особых нареканий к работе системы, а доработки касались в основном вопросов удобства пользования программой самими машинистами. Так за это время была доработана точность калибровки, а также сам процесс. Теперь система сама способна выполнить калибровку во время работы при запуске системы за 15 секунд, при этом необходимость имитации работы экскаватора для настройки отпала.

В дальнейшем планируется постепенное внедрение разработанной системы контроля на все экскаваторы разреза. Для этого в программе предусмотрена возможность установки решения на разные модели техники. На данный момент уже успешно протестирована работа система на экскаваторах ЭКГ-20, ЭКГ-35, Komatsu WA900, Komatsu PC4000, Liebher PR9200 и Liebher PR9400. В дальнейшем этот список будет только расширяться.

0
4 комментария
Юрий Б.
снимать, как экскаватор эмитирует процесс копания

Что делает, простите?

Статья огонь, плюсанул

Ответить
Развернуть ветку
Nord Clan
Автор

Спасибо за оценку!
P.S. Имитирует.. Интересная опечатка получилась :)

Ответить
Развернуть ветку
Max Ozhegov

Привет, а какое железо использовали для сервера в кабине? Там же тоже вибрации и перепады температур

Ответить
Развернуть ветку
Nord Clan
Автор

Добрый день.

В самой кабине вибрации не такие значительные, как на стреле. Оборудование подбирали согласно ТЗ с виброзащитой от производителя. Система также имеет предстартовый подогрев.

Ответить
Развернуть ветку
Читать все 4 комментария
null