Разработка видеоаналитики для контроля в общественных бассейнах

Всем привет! В первой части статьи я делился вредными советами по подготовке датасета для сервисов видеоаналитики.

В ней, очевидно, не хватало технических деталей и кейса. Исправляюсь! Примером выступит разработанный нами ПАК с системой CV для предотвращения утопления в бассейне.

Поговорим об особенностях установки камер, сборе данных, обучении моделей детекции человека и распознавания его позы.

Впереди - сочный лонгрид, на этот раз с картинками, схемами, графиками. Погнали!

Кратко о проекте. Стояла задача спроектировать систему оценки и оповещения об опасности утопления с функцией нейросетевой обработки видеопотока.

Система – прототип программно-аппаратного комплекса (ПАК), который должен анализировать всю деятельность человека в воде: время над водой, скорость движения, типичные и нетипичные позиции человека в воде. ПАК должен оценивать угрозу утопления и передавать эти данные на пункт контроля безопасности.

Основной задачей являлось определение степени утопления. Как только человек переходит от стабильного поведения к опасному, система должна информировать пост безопасности.

Для установки критериев степени утопления обратился к ГОСТ Р 59219-2020, где для автоматизированных систем установлены уровни определения опасности утопления:

– Желтый: прекращение движения объекта по поверхности зеркала воды;

– Оранжевый: пассивное погружение объекта в толщу воды;

– Красный - нахождение объекта на дне ванны бассейна.

ПАК должен определять указанные уровни и решать задачи по аналитике:

– детектирование человека в кадре;

– трекинг над водой;

– получение информации об уровне угрозы на основе позы человека.

От схемы установки камер требовалась относительная универсальность, позволяющая устанавливать ПАК в большинстве бассейнов.Стандартная конфигурация бассейнов – несколько дорожек длиной 25 м и шириной 2,7 м.

Решили задачу, разбив площадь поверхности воды в бассейне на условные части и сформировали систему модулями, покрывающими одну стандартную ячейку, учитывая, что дальность видимости камеры около 7-8 метров.

В итоге получили базовую схему из 2 подводных и 1 надводной камер.

1) Входящий видеопоток формируется из двух видеопотоков, поступающих с подводной и надводной камер. Используется протокол прикладного уровня RTSP. Дальнейшая конвертация происходит в HLS для удобства просмотра в браузере. Используется Docker compose — инструмент для определения и запуска многоконтейнерных приложений Docker.

Docker compose состоит из функциональных контейнеров:

● контейнер кадрирования и предобработки видеопотока;

● контейнер алгоритмов нейронных сетей для подводной камеры;

● контейнер алгоритмов нейронных сетей для надводной камеры;

● контейнер базы данных;

● контейнер RTSP/HLS/WEBRTC плеера;

2) Видеопоток передается в контейнер кадрирования и предобработки видеопотока, где осуществляется его преобразование в последовательность изображений формата JPG, над которой проводится предобработка для выделения полезной информации.

3) Данные, поступившие из контейнера кадрирования и предобработки видеопотока, направляются в соответствующий им контейнер алгоритмов нейронных сетей для решения задач распознавания и трекинга объектов;

4) Данные, поступившие в контейнеры алгоритмов нейронных сетей, последовательно обрабатываются алгоритмами для обнаружения объектов и проведения аналитики.

5) Обработанные кадры при помощи ffmpeg попадают в контейнер RTSP/HLS/WEBRTC плеера. Далее для каждой камеры они соединяются в единый видеопоток, доступный к просмотру по адресу в локальной сети.

6) Телеметрия пловцов, а также статус безопасности передаются вместе с временными метками в базу данных.

7) Контейнер WEB-сервиса, в свою очередь, позволяет просматривать HLS видеопотоки вместе с дополнительной аналитикой в WEB-интерфейсе браузера.

Для обучения собран датасет из >3000 кадров подводной съемки и 4000 надводных кадров, где 65% были тренировочной выборкой, 35% валидационной.

Нашей задачей был сбор для полноценного датасета, включающего возможные ситуации и позы человека в воде.

Формирование датасета проводили используя видео с открытых камер видеонаблюдения в бассейнах и видео с YouTube. Кадры брались с интервалом 1,5 секунды.

Разметку проводили в Supervisely — бесплатной платформе для разработки систем компьютерного зрения. Она позволяет легко размечать датасеты, в том числе для задачи object detection, контролировать время работы разметчиков, получать статистику и визуализацию данных.

Разметку на платформе разбивали на отдельные задачи, чтобы организовать одновременную работу нескольких разметчиков. Полученный датасет экспортировали в форматы, подходящие для обучения YOLO.

Использование открытых данных позволило получить достаточную выборку. Тем не менее, мы допустили ряд ошибок:

● все видео имели максимально разные ракурсы съемки и углы обзора;

● видео зачастую имели низкую освещенность и высокий уровень шума, что впоследствии повлияло на способность системы распознавать объекты. К примеру, система принимала отражения на поверхности воды за человека под водой;

● видеокадры с подводных камер имели низкое разнообразие и снизили возможность ПАК распознавать движения человека под водой;

● видеокадры датасета были сняты на разные камеры. На испытаниях ПАК мы использовали камеру с большим углом обзора и высоким разрешением, но это не позволило улучшить качество распознавания.

● основная задача ПАК – распознавать признаки утопления. Видеокадров случаев утопления в сети минимальное количество, что также отразилось на определении характерных движений.

Для решения задачи были проведены работы по корректировке полученного датасета: корректировка освещенности, смазанности изображений и подавление шумов, улучшения качества изображения.

Предобработка включала шаги:

● изменение размера изображений с исходного HD 1280x720 р до 640x640 р для передачи на вход модели YOLOv8;

● использование CLAHE позволило улучшить видимость деталей изображения за счет изменения контрастности в требуемых частях. Для применения CLAHE на цветном изображении цветовая модель RGB была переведена в HSV. CLAHE применялась к V (Value) каналу;

● удаление шумов на изображениях датасета;

● увеличение резкости Value канала HSV модели;

В рамках аугментации было реализовано:

● преобразование случайных 25% выборки к градациям серого;

● уменьшение и увеличение яркости и экспозиции на случайную величину от -25% до +25% для всех изображений датасета.

Аугментация увеличила размер тренировочной выборки до 9100 изображений с надводных камер.

В качестве модели определения человека была выбрана YOLOv8 (наиболее актуальная на момент реализации проекта). Это позволило обеспечивать единую структуру для обучения моделей для выполнения обнаружения объектов. Ниже приведены полученные метрики качества и значения функций ошибок.

Метрики precision и recall на валидационной выборке увеличивались в процессе обучения, а ошибки уменьшались, не считая незначительного увеличения dfl_loss к концу обучения.

Видно, что площадь Precision-Recall кривой близка к единице, Recall и Precision кривые имеют чётко выраженное плато и спуск/подъём, что может быть одним из признаков хорошего качества детекции.

В рамках расчета метрик система определяет скорость и пройденное расстояние человека в воде. Для увеличения точности определения указанных параметров плавательную чашу бассейна необходимо полностью вписать в размер кадра.

Важный параметр, который требует корректировки – изгибы прямых линий бортов бассейна на кадре, которые появляются при видеосъемке.

Если оставить изображение искаженным, то изогнутые на исходном кадре линии также будут изогнутыми на вписанном в кадр изображении чаши бассейна, что увеличит погрешности измерения метрик.

Для корректировки мы осуществили калибровку камеры с помощью встроенных функций библиотеки OpenCV и шахматной доски.

Шахматная доска добавляется в изображение с камеры в соответствии с разметкой дорожек. Изображение доски размещалось в разных частях чаши бассейна.

Калибровка камеры осуществляется единожды, при этом матрица калибровки записывается в отдельный файл и может быть использована в дальнейшем.

Ограничительные линии стали значительно ровнее, что позволило нам повысить точность расчета метрик.

Для отслеживания детекций используется state-of-the-art библиотека ByteTRACK. Определенные моделью YOLOv8 координаты bounding box и значения confidence передаются в ByteTRACK. На выходе получаем объект, содержащий id детекции, координаты bounding box и другую сопроводительную информацию.

Модель быстро научилась определять человека в бассейне, даже тогда, когда на поверхности воды видно только его очертания.

Модель хорошо определяла объекты, траектории движения, скорость и расстояние, которое проплыл человек. При этом на испытаниях выявили проблемы, связанные с обучением:

● низкое исходное разнообразие датасета влияло на качество детекции;

● влияние высокой освещенности в бассейне на качество детекции (засветы, блики).

В рамках предобработки выполнили действия, аналогичные предобработке данных с надводных камер. В рамках аугментации:

● преобразовали 25% случайных изображений к градациям серого;

● уменьшили и увеличили яркость и экспозицию на случайную величину от -25% до +25% для всех изображений.

С помощью предобработки удалось убрать «дымку» характерную для подводной съемки и увеличить контрастность. Аугментация увеличила размер тренировочной выборки до 5000 изображений.

Основная задача обработки данных подводной камеры – корректная детекция человека и распознавание его позы. Для реализации используется state-of-the-art модель YOLOv7-pose. Она позволяет одновременно производить детекцию человека и определять координаты 17 частей тела.

Для обучения детектора был собран и размечен датасет из более чем 3000 кадров, где 65% тренировочная, 35% валидационная выборка.

На графиках видно, что в процессе обучения значения функции потерь уменьшаются. Также на графиках прослеживается, что функции потерь почти достигают плато к концу обучения.

Для оценки качества алгоритмов модели построены кривые PR, R и P.

Площадь PR кривой близка к единице. R и P кривые находятся в корректных диапазонах, т.к. изгиб находится на больших значениях precision и recall.

Чтобы подсчитать количество движений человека используются данные изменений позиции конечности человека между кадрами.

Внутри каждой пары отслеженных точек тела определяется евклидово расстояние между ними. Сумма полученных расстояний усредняется и полученное значение является мерой исследуемого параметра. Таким образом, для определения количества движений остаётся только задать пороговое значение и время срабатывания. Также результаты вычислений для последних N кадров сохраняются в памяти и уже среднее по ним сравнивается с пороговым значением.

Число N задаётся в соответствии с временем срабатывания и FPS алгоритма. Если условие выполняется, человеку в соответствии с его ID присваивается статус yellow static. Если сумма изменений по оси Y за N кадров оказывается меньше нуля, условие выполняется и человеку в соответствии с его ID присваивается статус yellow down. Если оба условия выполняются, то человеку в соответствии с его ID присваивается статус orange.

Красный статус опасности (red) присваивается только тогда, когда человеку присвоен статус orange и координата середины bounding box находится ниже уровня воды более 1 секунды.

Если условие хотя бы одного из уровней опасности перестает выполняться, то все дочерние уровни также сбрасываются.

Испытания показали, что модель показывает достаточно высокие показатели детектирования на сложных изображениях. Желтый и оранжевый уровень опасности система определяет в течение 1,5 с, красный – 0,5 с.

Модель точно фиксирует человека и осуществляет локализацию ключевых точек. На изображении фиксируются линии воды и линии дна бассейна и динамически меняются уровни опасности: green, yellow (static, down), orange и red.

Наш путь с тестированием в бассейне был весьма тернистым.

1. Договориться со спортивным центром

Это было долго, трудно и нервно. У нас не было предварительной договоренности ни с одним центром к началу испытаний. При звонках в бассейны я сталкивался с условной марьивановной, которая ничего не знает и помочь не может. В итоге, сделал рассылку на почту всем возможным организациям и только так получил один единственный положительный ответ.

2. Подготовиться к испытаниям

Мы составили список необходимых вещей, где руководствовались собственным опытом. И конечно, были упущения:

● для настройки системы использовал ноутбук, на котором система никогда ранее не настраивалась;

● заранее не сделал тесты на этом ноутбуке. Было неожиданно, но система не заработала, так как мы ожидали;

● не подготовил заранее специальные крепления для камер. При предварительном посещении объекта обнаружил балкон, куда удалось прикрутить камеру с помощью кронштейна тонкой ручной работы:

3. Подготовить оборудования на объекте

● сделали монтаж надводных и подводных камер, выполнили настройку ПАК, включили камеры. И запись …не началась. Ни одного сохраненного видео с испытаний не было получено. Вывод: проверяйте и перепроверяйте запись в течении процесса.

● изначально мы записывали как screencast, так как сырой поток. Но в процессе настройки прототипа у нас вылетала подводная камера, поэтому, раз за разом начиная запись, мы забыли включить запись сырого потока.

В итоге, нам пришлось проводить повторные испытания. На этот раз мы учли ошибки и выполнили полноценное тестирование.

Типовое поведение записали с камер посредством наблюдения за посетителями. А вот ситуации утопления нужно было имитировать...

В роли утопающих выступили наши коллеги. Для обучения имитации утопления применяли теорию инстинктивной реакции утопления (IDR), где подробно описаны позы и движения человека. Она полностью коррелирует с уровнями угрозы утопления, которые определяет система.

Видеоряд с подводной камеры с присвоением объекту уровня угрозы утопления

Имитируя ситуации утопления, мы подтвердили корректную работу модели. Надводная детекция также показала хорошие результаты.

Работа над прототипом еще не закончена. В планах увеличить дальность подводной детекции с использованием новой модели YOLOv8 pose и увеличить разрешение надводной модели для лучшей детекции в бассейнах длиной 50 м.

Спасибо! Бомбите комменты, буду рад обсудить ваше мнение.

Кстати, проект выполнен с привлечением финансирования Фонда содействия развитию малых форм предприятий в научно-технической сферы.