Труд 4.0: как доверить нейросети безопасность работников

Время от времени мы участвуем в проектах по разработке экспериментальных систем. На этот раз сделали пилот ИИ-системы по приглашению одного из наших российских заказчиков. Хотим рассказать, как всё происходило и что получилось.

Машинное обучение и охрана труда в промышленности

На любом промышленном объекте в том или ином виде отслеживается выполнение персоналом правил безопасности и применения средств индивидуальной защиты. Сейчас очень много усилий направлено на то, чтобы передать рутинные функции производственного контроля системам на основе искусственного интеллекта.

В России экспериментальные площадки развёрнуты, например, в таких предприятиях как «Нефтегаз», «Славнефть», «Северсталь». Учитывая уровень сложности задач, компании нередко проводят масштабные открытые исследовательские проекты по изучению возможностей ИИ. В одном из таких проектов приняла участие команда First Line Software.

Задача

Используя уже существующие на объектах заказчика CCTV-камеры внедрить искусственный интеллект, который будет захватывать видеопоток с камер, выделять в стриме зоны производства, людей, элементы защиты и определять, нарушены правила техники безопасности или соблюдены.

Процесс

Инженеры First Line Software создали свёрточную нейронную сеть и научили ее распознавать на потоковом видео людей, детали экипировки, - каски, жилеты, тросы, и выявлять типы производственных зон. В пилотной версии система фиксирует и даёт реакцию на три наиболее распространённых сценария поведения персонала:

Дата-сет

Частая проблема проектов с машинным обучением в промышленности — недостаток наборов исходных шаблонов для тренировки нейросети ввиду новизны темы и единичности внедрений. Нам пришлось с нуля разработать и разметить референсный датасет, в состав которого вошли 56 последовательностей, покрывающих позитивные и негативные сценарии поведения персонала на производстве.

На изображениях сотрудники предприятия, часть из которых экипирована по всем правилам техники безопасности, часть - с нарушениями. У каждого человека размечена модель скелета по 12 опорным точкам. Амуниция размечена дополнительными точками. Каждый кадр имеет текстовую подпись и цветной фрейм. Также размечены типы производственных зон.

Распознавание объектов

Обработка видеопотока происходит в три этапа. Сначала отфильтровываются кадры, на которых отсутствуют люди. Затем части видео, на которых система распознала людей, передаются свёрточной нейронной сети. Сеть определяет человека по разметке и идентифицирует элементы страховки: каску на голове или трос на туловище. Затем алгоритм, использующий метод опорных векторов, сопоставляет изображение объекта по базе с шаблонами. Если кадр содержит нарушения, система направляет уведомление в соответствие с прописанными требованиями.

Технологии

Для сегментации изображений использовали Mask R-CNN (платформа Detectron). Этот фреймворк справляется с задачей обнаружения всех указанных классов объектов, а также выделяет объекты в рамки. Тренировка нейросети выполнялась с помощью скрипта переобучения Transfer Learning, оптимальной, когда вы работаете с ограниченным датасетом и нет задачи собирать статистику по работам: сколько сотрудников на объекте, сотрудники каких подразделений, в каких местах они проводят больше времени.

Результат

В финальном варианте удалось достигнуть стабильной аналитики видеопотока с распознаванием объектов и классификацией поведения. Диапазон точности составляет 77 – 100 процентов. Наш пилот показал отличные результаты на этапе тестирования и сейчас заказчик продолжает тесты. Дальше будем следить за развитием - потому что путь от пилота до промышленного решения очень длинный.