На вес золота: как получать данные о размере и составе руды за секунды, а не часы

Рассказываем, как rdl by red_mad_robot помогли «Полиметаллу» решить проблему с анализом гранулометрического состава руды и определением негабарита при производстве золота.

Крупный бизнес и металлургическая промышленность давно оценили преимущества цифровизации. Ведь в этой сфере каждое улучшение производительности на 1-2% может принести бизнесу миллионы рублей в год. За эти доли и бьются нейросети, тщательно пропуская через свои нейроны каждый кусочек руды. В нашем случае — каждый снимок.

Особенно важны доли процента, когда это не просто руда, а полиметаллическая — содержащая золото и медь. Например, для золотой руды применяются мельницы самоизмельчения, где она частично дробится сама за счёт крупных кусков, а частично — с помощью стальных шаров, но при этом возрастают требования к грансоставу. Соотношение различных фракций должно быть оптимальным, чтобы руда перемалывалась быстрее.

Всё, что крупнее нужного размера, — это негабарит. Его значение выставляет оператор в зависимости от размера руды на конвейере. Негабарит может заблокировать прохождение руды между конвейерами или подачу руды в мельницу. Это значит, что около 11 тыс. тонн руды обработано не будет. В каждой тонне — 1,7 грамма драгоценных металлов. Можно грубо оценить, во сколько каждый негабарит обходится предприятию.

Его детектирование и было основной задачей заказчика, с которой он обратился к нам.

«Полиметалл» — один из лидеров по добыче драгоценных металлов. с активами в России и Казахстане. Его первым месторождением в Казахстане стало «Варваринское», которое местные называют Варварой. Производительность обслуживающей месторождение фабрики — 4,2 млн тонн в год. Из этой цифры мы и посчитали выработку за день.

Первым на месторождении отлили слиток стандартного веса — 12 кг. Относительно небольшой брусок золота обманывает мозг: кажется, можно взять и поднять его одной рукой, хотя сделать это не так просто. В сети полно видео с подобными аттракционами: если удается вытащить — получаешь приз.

Но мы отвлеклись. Нас интересует оптимизация мельниц.

Итак, нам нужно анализировать гранулометрический состав руды и находить негабарит.

Проблема негабарита стоит особняком, потому что здесь только одно решение: следить за конвейером. Это может делать оператор, но человек имеет свойство уставать. А можно отслеживать камерой — именно этот способ мы и выбрали по соотношению цены и качества. Вместо камеры могут быть и другие датчики, но сути это не меняет.

С грансоставом руды сложнее. Во-первых, нужно анализировать скрытый слой, а во-вторых — разделять камни по классам крупности, чтобы с учётом процентного соотношения оператор выставлял оптимальный режим мельницы. Тут есть вариации, в основном они отличаются актуальностью информации, которую получает оператор:

Компьютерное зрение даёт картину в реальном времени, а алгоритмы машинного обучения предсказывают скрытый слой. При этом лаборатория и технологи по-прежнему работают, просто делают анализ реже и занимаются другими задачами. Представьте их результаты как эталонные замеры, с помощью которых можно корректировать веса, или коэффициенты, в нейросетях. Это помогает сделать предсказания точнее.

Мы уже разрабатывали подобные решения два раза — для компаний ERG и НЛМК. Так что у нас была накоплена экспертиза и опыт.

Во-первых, мы знали, какой минимальный размер камней и какие классы фракции грансостава можем определять с помощью компьютерного зрения. Те данные, которые мы показали в презентации, мы показали и на этапе финальной сдачи проекта.

Во-вторых, у нас были готовые интерфейсы, их не приходилось разрабатывать с нуля. Хотя они выступали скорее как референсы, потому что интерфейс был полностью кастомизирован под заказчика.

В-третьих, мы знали процесс внедрения и проблемные точки, которые затягивают работы. Например, закупка и доставка оборудования могут занимать несколько месяцев, поэтому мы сразу предложили варианты, как это можно ускорить.

Разница в том, что раньше стояла задача искать только мелкие камни. В этом кейсе впервые в нашей практике к ним добавился негабарит. У обоих решений в арсенале компьютерное зрение. Отличие только в используемых моделях.

К каждому из решений выставляются свои требования. При анализе негабарита нельзя пропустить ни одного кадра, поэтому нужны лёгкие и быстрые модели, причём форма большого камня должна быть точной.

Перед мельницами устанавливают камеры Basler. Снимки передаются на сервер, который также подключен к контроллеру.

Оператор выставляет пороговое значение негабарита — камни более 700 мм по большей стороне. Если машинное зрение находит их, то сервер отправляет сигнал на контроллер об автоматической остановке конвейера. Оператор устраняет кусок руды и снова запускает конвейер.

Модель сжимает исходное изображение с камеры, потом определяет контуры всех камней и переводит размер из пикселей в миллиметры. Дальше отсекает все камни больше определенной длины. Длина считается по большей стороне камня, и предобработанное изображение попадает в веб-интерфейс.

Веб-приложение показывает снимки с разметкой в реальном времени и формирует отчёт по найденным негабаритам.

Изображение также подаётся с камеры Basler и размечается по классам фракции:

Система предсказывает состав внутреннего слоя, который не попадает на снимок, и строит гистограмму текущего распределения грансостава по классам. На основе этих данных оператор может корректировать режим работы мельниц, а руководитель — оценивать качество буровзрывных работ.

На это последовательно работают две модели. Первая предсказывает камни на фотографии. Её основная метрика — средняя точность распознавания по всем классам крупности.

Вторая модель преобразовывает данные из первой. Она выдает распределение грансостава во всём объёме породы на ленте, результаты работы модели можно проверить с помощью рассевов.

Сейчас очень остро стоит вопрос инвестиций в производство. Насколько это целесообразно? Как риски соотносятся с возможным возвратом от инвестиций? Возможно ли довести новый цифровой проект до успешной реализации и развивать его дальше, когда и без того хватает работы? Мы попросили ответить на эти вопросы CEO rdl by red_mad_robot Алексея Соколова.

«Большинство простых „низко висящих плодов“ на промышленных производствах уже сорваны, из имеющегося оборудования выжимают эффективность по максимуму. Чтобы увеличивать производительность, зачастую необходимо модернизировать оборудование или расширять производство за счёт дополнительных линий. Это очень дорогостоящие инвестиционные проекты.

Инновационные цифровые решения позволяют получить дополнительные проценты производительности без капитальных затрат. Да, зачастую эти решения направлены на проверку гипотез, которые могут не подтвердиться, — и это нормально для R&D проектов. Успешные проекты будут покрывать затраты на гипотезы, которые не взлетели.

Кроме того, реализация любых цифровых решений приводит к улучшению IT-гигиены предприятия: появляются новые интеграции между различными системами, начинают аккуратно собираться, обрабатываться и храниться данные. За счёт пилотных проектов, которые пусть даже не показали эффективность по каким-то причинам, улучшается общая цифровая экосистема и рождаются новые возможности по созданию более сложных систем.

Лидеры рынка давно осознали, что прекратить инвестиции в развитие и стараться выжать максимум прибыли — это тупиковый путь. Он даст краткосрочный эффект, но в итоге приведёт к деградации производства и потере позиций на рынке. Поэтому ведущие компании в металлургическом сегменте делают высокую ставку на технологии и движение в сторону Индустрии 4.0».

Всего в проекте можно выделить семь этапов:

Этап включал в себя разработку технического задания, подбор оборудования, составление монтажной документации.

Примечательно, что за весь проект мы так ни разу и не побывали на производстве.

По чертежам и документации изучили конвейерные ленты, получили снимки, чтобы потом смоделировать положение камеры. В итоге пришли к выводу, что одной камеры на конвейер будет достаточно, и сформировали требования к оборудованию и серверу.

Подготовка к развертыванию системы на производстве — довольно сложный процесс. Чтобы получать качественные изображения, мы выбрали мощную промышленную камеру Basler. Её нужно было закрепить так, чтобы температура на линии не влияла на качество съёмки. При температуре +72–77 °C возможно замедление камеры, появление битых пикселей и шумов. Если освещение будет выставлено неправильно, тоже будут артефакты.

При заказе оборудования требовалось учесть все производственные условия. Для ускорения закупки мы обычно предлагаем организовать её самостоятельно, но в этом случае за неё отвечала команда «Полиметалла».

Нам нужно было понять, как выставлять свет и где расположить камеры. Чтобы помочь монтажной бригаде установить оборудование, мы создали цифровой двойник места установки камеры.

Мы могли подбирать конфигурацию освещения и место крепления камеры, не выезжая на производство. Когда оборудование было доставлено, монтажная бригада уже знала наилучшее расположение камер и прожекторов.

Пока ехало оборудование и не было доступа к реальным данным с камеры, мы начали генерировать синтетические данные.

Зачем нужны синтетические данные, мы подробно описывали в кейсах ERG и НЛМК. Если коротко: они значительно ускоряют обучение моделей, особенно на первых этапах, когда исторических данных ещё нет или их недостаточно.

В этом проекте с компанией «Полиметалл» пайплайн создания синтетических данных стал сложнее. В первую очередь это касается негабарита: если грансоставу можно простить низкую детализацию из-за относительно небольшого размера руды, то с большими камнями такой трюк не пройдет. Пришлось дорабатывать алгоритмы и автоматизировать процесс — теперь синтетические данные более похожи на реальные и генерируются практически без нашего участия. Вместо нас потеют роботы. Всё как мы любим.

Процесс выглядел так:

Всё это позволяло воссоздать форму, рельефы, текстуры камней и ленты, текстуру и карту глубины песка. А также внешнее освещение, тени и дополнительные шумы на изображении.

Потом синтетические данные были дополнены реальными, по ним и проводилось дообучение моделей.

Пока мы дожидались оборудования, команда запустила разработку сервиса:

Нейросеть находит камни и позволяет определить их размер в пикселях, но цель системы — определять их физический размер. Для этого нужно подготовить алгоритм приведения пикселей в миллиметры.

Разработка такого алгоритма — одна из важнейших задач после установки камеры. Если выполнить её плохо, это скажется на качестве предсказаний.

В самом простом варианте алгоритм представляет одно число, или коэффициент. Тогда размер камней в пикселях просто умножаем на этот коэффициент — и получаем размер в миллиметрах.

Но правильнее иметь набор коэффициентов. Каждому пикселю или группе пикселей — свой коэффициент. Это позволяет точнее определять размер каждого объекта, особенно в случаях, когда камера повешена не строго перпендикулярно относительно ленты. Но и получить такой алгоритм сложнее.

Потом в ходе калибровки модели этот набор коэффициентов мы привели к оптимальному виду. Важно сказать, что у этого алгоритма есть принципиально неустранимая погрешность. Она возникает из-за того, что руда под камерой постоянно меняет высоту в одних и тех же местах конвейера, а также из-за неоднородности камней.

После установки камер на конвейеры мы собрали с камеры объёмные наборы фотоматериалов за разные промежутки времени. Данные отбирались случайно, чтобы внешние условия обучения не создавали ненужных зависимостей. Мы старались отбирать снимки без повторов для усиления выборки.

Важно использовать в обучении моделей снимки с пустым и полупустым конвейером. В первых моделях дефицит таких снимков вёл к тому, что модель принимала ленту конвейера за один большой негабарит.

Для негабарита и грансостава были разработаны разные модели. Каждая из них прошла четыре доработки алгоритма.

Для негабарита изображение сжималось до 800 пикселей, потом определялись контуры с помощью модели распознавания, отсекались камни ниже заданного порога по большей стороне и выводились в интерфейс.

Для грансостава изображение резалось на фиксированные ячейки, потом определялись контуры для каждого камня с учётом границ ячейки. После этого изображение склеивалось, ограничиваясь размерами ленты конвейера, и вместе с контурами и классами крупности выводилось в интерфейс.

Для разметки данных и работы с моделями мы собрали конфигурацию сервера с хранилищем данных (на MongoDB), функциями запуска и остановки работы системы (Docker-compose) и предиктивными алгоритмами для двух сервисов.

Также мы разработали API для взаимодействия с внешними системами. При детектировании негабарита сигнал подаётся на контроллер — и конвейер останавливается. Также API в будущем может использоваться в BI-аналитике (есть возможность выгрузки данных в Excel) или при внедрении так называемого цифрового советника — рекомендательной системы для автоматизации режима работы мельниц.

Команда «Полиметалла» активно давала фидбэк при разработке интерфейса, поэтому у нас получилось полностью кастомизированное рабочее место оператора. Важно, чтобы оператору было удобно с ним работать и оперативно принимать решения, — и благодаря усилиям клиента у нас это вышло.

В двух интерфейсах есть схожие функции для переключения и активации месторождения, отображения температуры видеокамеры, онлайн-трансляции разметки и общей информации о времени, месторождении и т. д. Но есть и отличия. Рассмотрим их подробнее.

Для грансостава показывается среднескользящее распределение — это усредненное интегральное значение распределения фракции за какой-то период. Также настраивается текущее распределение: какой состав руды в процентах сейчас идёт по конвейеру и какая у него динамика. Период настраивает оператор.

Для негабарита показывается последний найденный негабарит и статистика по ним за выбранный оператором период. В течение десяти секунд подаётся звуковой сигнал, чтобы привлечь внимание оператора.

В ходе работ мы выяснили, что нужно сменить конфигурацию освещения и камеры. Мы перевесили прожекторы и обучили модель заново. Для обогащения данных синтетическими изображениями мы также изменили положение света и камеры, использовали их вместе с новыми размеченными фото. Когда мы вышли на прежние показатели и улучшили их, занялись калибровкой моделей и приведением их в соответствие с реальными данными рассевов.

Для оценки качества нейросетей мы использовали стандартный способ: брали отношение площади пересечения двух рамок к площади их объединения — так называемое пересечение, делённое на объединение (intersection over union). Значения — от нуля, полного несовпадения, до единицы, полного совпадения.

После этого мы отобрали все блоки со значением IoU выше определенного порога. Обычно это 0,75 или 0,5, в зависимости от задачи.

Из отобранных блоков мы посчитали, сколько их в итоге нашлось относительно общего количества камней с ручной разметкой. Это и было нашей метрикой для оценки качества нейросетевой модели.

Команда «Полиметалла» активно участвовала в обсуждении и предлагала идеи. Например, они предложили подбрасывать камни, чтобы откалибровать алгоритмы для приведения пикселей в миллиметры. Мы взяли эту идею на вооружение.

Для калибровки негабарита мы раскрашивали камни и маркировали их цифрами, чтобы сравнить результаты работы моделей и реальные размеры камней.

Для калибровки грансостава мы подкладывали под камерой линейку в разные места остановленного конвейера, — чтобы проверить и откорректировать пиксели на миллиметр. Для проверки качества определения грансостава мы отбирали погонный метр породы ровно в области видимости камеры, а клиент делал его рассев. И так несколько раз. На полученных данных рассевов мы откалибровали формулу приведения видимого слоя к информации с невидимого.

Испытания проходили две недели. Внутри нашей команды они считаются образцовым примером сдачи-приёмки работ. Нам понадобилась всего одна серия испытаний, которую мы завершили в запланированный срок, — две недели. Всё благодаря хорошей подготовке и калибровке моделей.

Для испытаний применялись те же методы оценки, что и при калибровке.

MVP показало себя успешно, а высокие показатели работы нейронных сетей говорят о том, что система готова к запуску в промышленную эксплуатацию. Решение можно масштабировать на другие месторождения (мы внедряли систему только для двух точек) и конвейеры.

Если было интересно читать то, что сгенерировали наши нейросети, посмотри также кейс о том, как нейронная сеть поддерживает репутацию бренда.

Чтобы ничего не пропустить, следи за развитием искусственного интеллекта вместе с нами:

・Redmadnews

・LinkedIn

・VK

Да пребудет с тобой сила роботов! 🤖

#red_mad_robot #машинноеобучение #machinelearning