OpenCV для детектирования дорожных знаков

Мы часто сталкиваемся с необходимостью детектирования различных объектов на фотографиях или видео. Довольно эффективно данную проблему можно решить, используя библиотеки OpenCV. В данной статье рассмотрим один из алгоритмов детектирования на примере обнаружения дорожных знаков.

Принцип работы программы заключается в следующем: на вход подается изображение, где предварительно мы ожидаем детектировать дорожный знак. При этом работа с видео такая же, так как в таком случае видео покадрово передается в программу и дальнейший алгоритм не отличается. Обычно все изображения, привычные нашему глазу, находятся в формате RGB. С ним неудобно работать, так как падение тени или свечение солнца будут сильно искажать оттенки цвета. А работа программы основана именно на определении цвета. Поэтому первым шагом будет переход в цветовое пространство HSV. Здесь мы уже будем накладывать цветовой фильтр, который будет разрешать только те цвета, которые встречаются в дорожных знаках. Чтобы в контурах не было разрывов, сгладим разрешенные пиксели. Далее рисуем контуры вокруг разрешенных пикселей. Чтобы не было много лишних, можно поставить ограничения по площади контура, например, в данном случае контур должен находиться в пределе от 400 до 10000 пикселей.

def detectionRED(frame, spisok):
    """ В качестве аргумента функция принимает кадр, переводит в цветовой формат hsv,
    накладывает маску только красного цвета, сглаживает области и находит контуры.
    Цикл оставляет контуры, подходящие по размеру, и отрисовывает их.
    Функция возвращает кадр, с нарисованными контурами"""
    cv.imshow('img', frame)
    frame_hsv = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
    cv.imshow('frame0', frame_hsv)
    frame_mask = cv.inRange(frame_hsv, (0, 162, 67), (255, 255, 255))
    cv.imshow('frame1', frame_mask)
    frame_dilate = cv.dilate(frame_mask, None, iterations=2)
    cv.imshow('frame2', frame_dilate)
    contours, hierarchy = cv.findContours(frame_dilate.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
    sort = spisok
    for i in contours:
        area = cv.contourArea(i)

        if 400 < area < 10000:  # можно регулировать дальность
            sort.append(i)

    cv.drawContours(frame, sort, -1, (0, 23, 44), 2)
    return frame, sort

Поэтапно все действия с изображением представлены на фото ниже.

OpenCV для детектирования дорожных знаков

Остается только вырезать дорожные знаки с изображения и сохранить отдельным файлом.

def detectionIMAGE(image_name):
    """ Функция принимает в качестве аргумента название изображения. Передает в функции
    отрисовывания контуров и возвращает изображение с нарисованными контурами.
    Для выхода нажмите кнопку "Esc". """
    start_time = time.time()
    image = cv.imread(image_name)
    print(type(image))
    cadr = cv.imread(image_name)
    spisok = []
    frame, sort = dtRED(image, sort)
    while True:
        cv.drawContours(frame, sort, -1, (0, 234, 135), 2)
        cv.imshow('frame', frame)

       (x, y, w, h) = cv.boundingRect(sort[0])
        detect = cadr[y:y + h, x:x + w]
       cv.imshow('q', detect)

        (x, y, w, h) = cv.boundingRect(sort[1])
        detect = cadr[y:y + h, x:x + w]
        cv.imshow('r', detect)

        (x, y, w, h) = cv.boundingRect(sort[2])
        detect = cadr[y:y + h, x:x + w]
        cv.imshow('u', detect)
        end_time = time.time()
        if cv.waitKey(1) == 27:
            break

    print('Время выполнения:', end_time - start_time)
    return frame

Считаю результат очень хорошим, потому что даже в ночное время, программа отлично отработала и смогла детектировать знак, находящийся на заднем фоне. К примеру, нейросеть, обученная на датасете OpenImageV4, на этом изображении смогла найти только знаки на переднем фоне. При этом, в нашем случае не требуется высоких вычислительных мощностей и ядер CUDA и, соответственно, время работы сильно уменьшается, особенно на маломощных и портативных устройствах. Время работы программы составило меньше секунды.

При этом нейросеть, построенная на архитектуре SSD, работала значительно дольше и распознала два знака как один.

Данный алгоритм можно использовать не только для детектирования дорожных знаков, но и для других целей. Например, детектирование ценников в магазине, документов, книг, табличек, обладающих определенным цветом. Увеличить точность можно, оставляя только четырехугольные предметы, либо вводя другие специфичные конкретным объектам фильтры.