Распознавание картин без распознавания

Обычно распознавание чего угодно реализуется с помощью технологий компьютерного зрения и машинного обучения. Нейросети “скармливают” набор изображений, по которым она учится узнавать предметы. Но что делать, если распознавать нужно сразу на мобильном устройстве, а дообучать модель в случае увеличения количества классов нет возможности из-за ограничений на стороне клиента? В таком случае использовать нейросеть не получится.

В мире нейронных сетей другие подходы к распознаванию изображений уходят в тень, но сегодня мы восстановим справедливость и расскажем о том, как можно с помощью чистой математики решать задачи машинного обучения.

Нашей команде довелось заняться разработкой приложения для пивного музея. Приложение должно было распознать экспонат не более чем за секунду, используя камеру смартфона, и выдать информацию об экспонате на экране телефона, т.е. приложение использовалось вместо гида, и каждый посетитель мог бы самостоятельно изучать выставку с помощью своего мобильного телефона.

Для нас этот проект не составил бы большого труда, ведь подобные проекты - не редкость для любой ML-команды. У заказчика даже был сформирован датасет из 60 объектов-экспонатов, по несколько фотографий на каждый, что сняло бы с нас часть нагрузки по подбору нужных фото для обучения.

Однако у заказчика было два серьезных ограничения, которые заставили нас полностью пересмотреть подход к разработке:

Исходя из требований заказчика, было решено использовать классические алгоритмы компьютерного зрения, вместо нейросети:

Основным понятием для нашего приложения в процессе распознавания являются ключевые точки.

В качестве входной информации приложение получает изображение. Если алгоритмы компьютерного зрения анализировали бы изображение целиком, стараясь понять какой объект перед ними, наш алгоритм выполняет поиск ключевых точек.

Поиск ключевых точек реализован с помощью OpenCV. Используя стандартный оператор OpenCV мы также ищем производную изображения.

Внутри OpenCV есть детектор и дескриптор ключевых точек KAZE, который выполняет поиск этих самых ключевых точек, а затем для каждой точки генерирует вектор признаков. Алгоритм читает градиент вокруг этой точки во всех направлениях, и для каждого направления выдается число, которое описывает эту точку. Это и является описанием ключевой точки. Благодаря этому описанию мы можем сравнить точки между собой, сравнивая расстояние между векторами.

Для проверки гипотезы об эффективности подхода с поиском ключевых точек мы разработали прототип. А чтобы клиенту было проще проверять работу алгоритма, мы создали Телеграмм-бот: клиент отправляет в чат изображение, оно отправляется на сервер, где его обрабатывает алгоритм, результат определется отправляется обратно в Телеграмм вместе с некоторыми параметрами - фото экспоната, время работы алгоритма.

Прототип позволил нам понять, что подход с ключевыми точками - не только рабочий, но и оптимальный в рамках ограничения этого проекта. Все, что нам осталось сделать на этом этапе - улучшить качество определения, которое на момент создания прототипа было в районе 60%, и сделать так, чтобы алгоритм быстро работал на мобильных устройствах.

Чтобы достичь более высокого качества определения, наша команда пробовала использовать разные детекторы и дескрипторы ключевых точек (SIFT, ORB, KAZE), перебирали их параметры, занимались предобработкой входных изображений. В итоге остановились на KAZE, как наилучшем.

Однако такое решение имеет в себе подвох. Из-за большого количества дубликатов ключевых точек скоринг начал работать некорректно. Проще всего объяснить что пошло не так на простом примере.

Решить эту проблему получилось, когда мы заменили группы похожих ключевых точек одним цетроидом - усредненным вектором признаков. После этих изменений мы достигли 87-88% качества. Мы планировали поднять качество выше 88%, путем определения требований к датасету.

Классификация на базе ключевых точек экспонатов сводится к оценке схожести между ними, для этого нужно посчитать расстояние между дескрипторами ключевых точек. Наивный байесовский алгоритм работал слишком медленно, т.к. для каждой точки на тестовом изображении ему было нужно посчитать расстояния до всех точек в базе. Нужно ли говорить, что такой подход очень медленный, ведь точек может быть очень много?

Для ускорения работы мы заменили этот алгоритм на HNSW - приближенный поиск дистанции. Данный алгоритм строит граф, в котором строится пространство с иерархией. После внедрения HNSW скорость поиска расстояния между точками увеличилась в разы - если раньше определение занимало несколько секунд, то теперь оно занимает от 1 до 3 fps.

В планах клиента было не только определение экспоната с помощью приложения, но и добавление AR элементов, для чего нам нужно было научить приложение локализовывать объект, т.е. отличать его от фона и от других экспонатов вокруг.

В рамках нашего подхода решить подобную задачу проще для “плоских” объектов, таких как картины, чем для объемных, таких как статуи. Определение границ объекта можно осуществить с помощью линейных преобразований: у нас хранятся ключевые точки и их взаимное расположение как целевого объекта, так и сохраненного в библиотеке, благодаря линейным преобразованиям мы можем вычислить насколько они отклонились.

Однако некоторые объекты, а именно объемные фигуры, изменяются нелинейно на плоскости, математически восстановить трансформацию на плоскости для объемной фигуры нельзя, поэтому этот подход работает только для картин и прочих плоских экспонатов.

Подход распознавания изображений по ключевым точкам был выбран нами не зря - он отвечал задачам клиента и поставленным изначально ограничениям. Несмотря на то, что подход отвечал требованиям, он не лишен недостатков.

Во-первых, ограничением является сам критерий распознавания - ключевые точки. Не все объекты могут их иметь, например, “Черный квадрат” Малевича наше приложение не смогло бы определить, т.к. у картины с одним цветом характерных точек нет.

Во-вторых, не просто дать количественную оценку нашей уверенности в результате классификации.

И как следствие, не просто “откинуть” изображение как не присутствующее в датасете. Алгоритм всегда будет находить ближайший похожий экспонат, даже если у него будет только одна общая точка с целевым изображением.

Пока проект в работе и клиент думает над реализацией, мы решили создать мобильный прототип для местного музея картин. Протестировали его в боевых условиях и даже сняли видео.

Приложение действительно быстро определяет, какой экспонат перед ним находится, единственное ограничение, которое может замедлить процесс - качество мобильного интернета.

Спасибо за внимание! Оставайтесь на связи, впереди еще много интересных ML-кейсов.

#computervision #machinelearning #keypoints #recognition #knn #hnsw #python #opencv #mobileapp #mobileapps #компьютерноезрение #компьютерное_зрение #ml #ai #it #development #ии #машинлёнинг #машинленинг #машинное_обучение #машинноеобучение #искусственный_интеллект #распознавание #нейронка #нейросеть #разработкапо #разработка #разработка_мобильных_приложений #технологика #аутсорсинг #искусственныйинтеллект