В своей деятельности мы столкнулись с задачей разделения разных объектов на записях с видеокамер. Другими словами, нам нужно было проверять количество людей в зоне наблюдения. С самого начала существовал ряд ограничений: отсутствие обучающей выборки, сжатые сроки на разработку инструмента, ограниченность вычислительных ресурсов. Это сказалось на инструментах, выбранных для реализации решения.
Так как сжатые строки и ограниченные ресурсы коррелируют между собой, то нужно разобраться с ними в первую очередь. Эти проблемы подтолкнули нас к решению отказаться от обработки потокового видео, решили обрабатывать не все кадры, а только 1 кадр с дельтой по времени в 4 секунды (цифра выбрана исходя из опыта проб и ошибок). Для получения скриншотов наша задача оказалась очень подходящей, т.к. можно их скачивать через url адрес с помощью библиотеки python request.
Отсутствие обучающей выборки заставило нас обратить внимание на размеченные датасеты MS COCO. На просторах интернета нашли open source решения PythonAPI (pycocotools) – библиотека для использования СOCO API на языке python с предобученными весами на Mask R-CNN. Найденная информация подтолкнула нас к использованию именно этой реализации нейросети на Python 3, Keras и TensorFlow, генерирующую ограничительные рамки и маски сегментации для каждого из экземпляров объектов в изображении. Он основан на функциональной пирамидальной сети (FPN) и магистрали ResNet101.
С установкой пакета pycocotools возник ряд трудностей, повлекших за собой временные потери. Хотим рассказать, как вам избежать ошибок и не тратить время на поиски ответов на различных форумах.
Для установки пакета запустите из командной строки pip install. То же самое нужно проделать с Mask R-CNN (github). Пакеты необходимо именно клонировать из этого git репозитория, чтобы избежать ошибок. Еще одним важным условием успешного инсталлирования библиотеки является наличие установленного и прописанного в системные пути компонента Visual C ++ 2015 Build Tools (файл visualcppbuildtools_full.exe).
При запуске pip install pycocotools у нас возникла проблема:
Исправить ошибку получилось после внесения изменений в файл setup.py – библиотеки — там нужно было заменить строку
После данных манипуляций ошибок больше не возникало, и библиотека pycocotools установилась успешно.
Чтобы воспользоваться предобученными весами на датасете COCO вам нужно будет скачать файл mask_rcnn_coco.h5 и положить его в клонированную директорию Mask R-CNN. В папке samples есть файл demo, именно его мы и использовали как baseline для своего решения. При импорте библиотек, у вас может возникнуть ошибка.
Это говорит о том, что записная книжка, которую вы используете, вызывает локальную копию библиотеки. С этим препятствием методом проб и ошибок можно справиться таким образом: необходимо перенести все содержимое папки PythonAPI в корневой каталог, из которого вы запускаете свой скрипт.
Далее используем модель, обученную на наборе данных MS-COCO и загружаем уже существующие веса.
Модель классифицирует объекты и возвращает id классов, представляющие собой целочисленные значения, идентифицирующие каждый класс. Некоторые наборы данных присваиваются целочисленные значения в свои классы, а некоторые нет. Чтобы получить список имен классов, необходимо загрузить набор данных, а затем использовать свойство class_names.
У нас уже собрано некоторое количество скриншотов, теперь осталось пробежаться по папке, прочитать каждое изображение, выбрать зону для распознавания и распознать объекты.
Для проверки адекватности модели, попробуем вывести результат распознавания на примере любой фотографии используя следующий код.
В результате распознавания получим вот такую картинку:
Как видно на результирующем изображении, все объекты выделены масками разных цветов, что позволяет четко разделять их между собой. В левом верхнем углу каждой рамки указан класс и вероятность вхождения распознанного объекта в этот класс. Данный пример доказывает, что сеть работает адекватно на предобученных весах COCO.
В заключении могу отметить, что выбранным вариантом решения задачи можно воспользоваться для быстрой разработки решения и получения первого результата. Но в некоторых случаях объекты распознаются плохо, это сильно зависит от выбранного класса. Например, на рисунке выше мы видим, как сеть распознала топор как телефон, а юбку как сумку. Для того, чтобы избежать подобных проблем, вам стоит обучать эту нейросеть на своем датасете.