Компьютерное зрение: тренды, рынок, перспективы

Компьютерное зрение: тренды, рынок, перспективы

Интеллектуальное видеонаблюдение, аналитика изображений и биометрия уже во многом превзошли возможности даже профессионально обученного человека. Компьютер не отвлекается и не устает, и тем самым дает возможность нивелировать влияние человеческого фактора на производственные, исследовательские и повседневные стороны нашей жизни. Фиксация нарушений ПДД, маски для селфи в соцсетях, перевод иностранного текста через камеру смартфона, FaceID на iPhone — это простые примеры того, как компьютер научился взаимодействовать с внешним миром, «понимая» события, «видя» объекты и отличая их друг от друга.

Компьютерное зрение (Computer Vision, CV) — область искусственного интеллекта, связанная с обработкой изображений и видео. Она включает в себя набор методов, которые позволяют компьютеру «видеть» и анализировать полученную информацию: идентифицировать предметы и людей, распознавать текст, фиксировать движения, выделять однородные элементы на изображениях и видео и многое другое.

В этой статье вместе с ML-командой SimbirSoft рассмотрим основные области применения компьютерного зрения, а также проблемы, тренды и перспективы развития CV-технологий.

Тренды и направления исследований CV

Современные технологии компьютерного зрения позволяют компаниям из самых разных отраслей эффективно решать свои бизнес-задачи. Этому способствует наличие фреймворков и библиотек промышленного уровня качества, большое количество доступных наборов данных (далее – датасетов), доступностью предварительно обученных моделей разных архитектур, а также разнообразие эффективных вычислительных платформ (серверных, мобильных и встраиваемых).

Вот некоторые примеры традиционных сфер применения компьютерного зрения:

  • Автономные автомобили: контроль дорожной обстановки, навигация по маршруту, стимуляция управляющих воздействий.
  • Медицина: интерпретация КТ-, МРТ-, ультразвуковых и рентгеновских изображений.
  • Производство: контроль производственных процессов, обнаружение дефектов продукции.
  • Сельское и лесное хозяйство: контроль состояния посевов, роста сорняков, инвентаризация насаждений.
Компьютерное зрение: тренды, рынок, перспективы

В последние годы совершенствование алгоритмов искусственного интеллекта привело к проникновению CV-технологий почти во все области повседневной жизни: контроль трафика на дорогах, распознавание лиц и поиск по базам преступников и пропавших людей, подсчет посетителей магазинов и анализ наличия товаров на полках, контроль ношения средств индивидуальной защиты и т.п.

Значительная доля рынка CV приходится на сферу развлечений и шопинг. Мобильное приложение ViewEvo, для которого мы разработали дизайн, позволяет выделить и распознать на фото или видео различные товары: одежду, обувь, аксессуары. После этого сервис подбирает товары или их аналоги в интернет-магазинах партнеров.

Компьютерное зрение: тренды, рынок, перспективы

Успешное применение технологий компьютерного зрения для решения разнообразных задач позволяет переходить к полностью автоматическим системам, исключая участие человека в принятии решений. Наиболее известный пример таких систем — беспилотные автомобили.

Другой важный тренд – переход от анализа статичных изображений к анализу динамичных сцен. CV-технологи позволяют фиксировать модели поведения объектов, а затем анализировать то, как они взаимодействуют друг с другом с течением времени.

Самая распространенная технология компьютерного зрения сегодня – сверхточные нейронные сети. С их помощью можно выявить локальные признаки, характерные для разных объектов, а затем использовать их для решения прикладных задач: обнаружения объектов, их классификации и даже генерирования новых изображений.

Чтобы обеспечить необходимую эффективность вычислений и высокую скорость работы алгоритмов CV, особенно на мобильных и встраиваемых устройствах, часто применяются такие техники оптимизации, как квантизация, прунинг, дистилляция знаний.

Среди основных направлений исследований в компьютерном зрении выделим следующие:

  • Алгоритмы обучения без учителя (unsupervised) и самообучения (self-supervised). Они позволят ограничить применение или полностью отказаться от дорогой и времязатратной процедуры разметки данных в датасете.
  • Применение моделей архитектуры «трансформер», хорошо показавших себя в задачах обработки текстов. Механизм внимания (attention), используемый такими моделями, позволяет более гибко подходить к выявлению закономерностей в изображениях.
  • Надежность моделей – обеспечение их правильной работы в условиях наличия шумов на входных изображениях, намеренных атак на алгоритм с целью добиться от него определенного поведения (adversarial attacks), изменения статистических распределений во входных данных и др.
  • Интерпретируемость моделей – объяснение, почему модель выдала именно такой результат.

Области применения CV

Сегодня технологии компьютерного зрения широко применяются как в производственных и исследовательских сферах, так и в повседневной жизни людей. Рассмотрим несколько примеров.

Безопасность

В 2018 году гонконгский стартап SenseTime привлек 600 млн долларов инвестиций, став самым дорогим частным проектом в области искусственного интеллекта. Разработчики представили системы распознавания лиц и дистанционного обнаружения, а также решение для беспилотных автомобилей. Спустя год после запуска, стоимость компании составляла, по разным оценкам, от 3 до 4,5 млрд долларов, а сам проект получил поддержку китайского правительства.

Помимо поиска и сравнения лиц людей, системы видеонаблюдения с использованием алгоритмов компьютерного зрения позволяют обнаруживать различные объекты, осуществлять мониторинг обстановки внутри помещений и на городских объектах, обеспечивать защиту работников опасных производств.

Тем не менее, вместе с очевидной пользой, которую компьютерное зрение несет для повышения безопасности жизни, есть факторы, сдерживающие развитие технологии распознавания лиц. Во-первых, законодательные ограничения, связанные с защитой персональных данных людей. Во-вторых, этические вопросы, затрагивающие проблему нарушения прав человека. Тот же SenseTime не раз упоминался в контексте использования технологий CV против мусульман, проживающих на территории Китая.

Несмотря на это, безопасность остается основной сферой использования компьютерного зрения как в России, так и в мире. Согласно исследованию TAdviser, проведенному в 2018 году, 32% решений в области CV приходится на видеонаблюдение и безопасность. Это направление специалисты назвали самым перспективным для области компьютерного зрения в ближайшем будущем.

Ритейл

Сегодня для большинства магазинов возможность получить информацию о покупательском опыте и обеспечить персонализированный подход — ключевые компоненты успеха. Технологии помогают ритейлерам собирать данные о клиентах и проводить аудит торговых точек, тем самым способствуют росту продаж. Рассмотрим на примерах, как CV помогает бизнесу повысить свои KPI.

  • On Shelf Availability (OSA) — контроль товаров на полке

Установленные в торговом зале камеры анализируют изображение стеллажей. Как только товар заканчивается на полке, нейросеть отправляет уведомление в систему. В плюсе остаются все: и продавец, чей покупатель не ушел за продуктом к конкуренту, и производитель, получивший ценную информацию о движении товара на полке.

  • Безопасность и защита от краж

Системы распознавания лиц могут сканировать лица покупателей на входе в торговую точку и сразу же сверять полученные данные с ‎«черными списками‎» известных магазинных воров. Эти решения также способны отличать сотрудников магазина от посторонних лиц, препятствуя проникновению последних в зоны ограниченного доступа.

  • Контроль очередей

Длинные очереди снижают лояльность покупателей, а плавающие показатели потока посетителей влияют на объективность KPI для сотрудников. В итоге все это сказывается на текучке кадров и вредит бизнесу. Нейросеть определяет, когда количество людей в очереди превышает допустимое значение, и отправляет уведомление в систему мониторинга торговой точки. Технология также позволяет определить среднее время, по истечении которого покупатель покидает очередь и отказывается от покупки. Полученные данные ритейлеры используют в том числе для оптимизации количества персонала в торговой точке.

  • Тепловые карты

Нейросеть анализирует данные о передвижении покупателей по торговому залу, показывая популярные и «холодные» зоны магазина. Они помогают подтвердить или опровергнуть принятые правила выкладки товара и привлечь покупателей к определенным полкам. «Тепловые карты» помогают маркетологам точнее планировать торговое пространство: от размещения информации об акциях в наиболее проходимых местах магазина до продажи площадей арендаторам в торговых центрах.

Промышленность

В 2015 году основатель Всемирного экономического форума Клаус Шваб впервые употребил термин «Четвёртая промышленная революция», или Индустрия 4.0. Это понятие включает в себя новый подход к производству, основанный на проникновении технологий во все сферы экономики.

Одна из характерных особенностей Индустрии 4.0 — внедрение в работу промышленных предприятий искусственного интеллекта. К технологиям компьютерного зрения, используемым на производстве, также применяется термин «машинное зрение‎» (Machine Vision). С помощью MV полностью автоматизируются процессы сборки, обнаружения дефектов, лазерной резки и других процессов, для которых раньше требовалась специальная подготовка специалистов.

Компьютерное зрение: тренды, рынок, перспективы

Например, специалисты SimbirSoft приняли участие в разработке приложения, позволяющего вести учет сырья в лесной промышленности. Используя алгоритмы машинного обучения, система позволяет измерять диаметр стволов деревьев по фото с точностью до сантиметра. Подробнее о ходе реализации проекта мы рассказали здесь.

Безопасность и охрана труда – другая важная область применения машинного зрения в промышленном секторе. Системы распознавания лиц востребованы на пультах управления или на производственных линиях, где важно соблюдать высокий уровень концентрации. Так, системы помогают убедиться, что специалист контролирует производственный процесс в соответствии с регламентом. В случае аварии – информируют персонал о месте и степени критичности инцидента.

Медицина

Внедрение технологий компьютерного зрения в медицине открывает возможности для изучения широкого спектра заболеваний. Алгоритмы анализируют медицинские изображения (рентгеновские снимки, МРТ, УЗИ) и помогают повысить точность диагностики заболеваний. В частности, на изображении могут присутствовать мелкие детали, не заметные для человеческого глаза, которые система CV распознает практически безошибочно.

Например, разработанная Microsoft система InnerEye может анализировать наличие аномальных образований по данным компьютерной томографии и широко применяется при лучевой терапии в лечении рака. Компания также выступает за демократизацию CV-технологий в мединдустрии. В 2020 году пакет программ InnerEye был выложен в открытый доступ, позволив healthtech-провайдерам использовать модели машинного обучения для интегрирования в собственные системы.

Нейросетевые алгоритмы также используются в компьютерной диагностике для планирования персональной терапии и повышения верности принятых решений. В телемедицине CV-технологии помогают провести первичную диагностику некоторых заболеваний по фотографии без необходимости посещения кабинета врача.

Современные проблемы CV

Несмотря на свою прогрессивность и востребованность, компьютерное зрение неминуемо сталкивается с рядом технических проблем и ограничений:

  • Высокая потребность в размеченных данных. Среди всех этапов подготовки датасетов для разработки алгоритмов компьютерного зрения процесс разметки – наиболее длительный и затратный. Вместе с тем, количество изображений и качество разметки во многом определяют качество итоговых моделей.
  • Как следствие, внедрение алгоритмов компьютерного зрения может быть затруднено в областях, для которых сбор и разметка датасета нужного объема затруднены или невозможны.
  • Интерпретируемость результатов работы алгоритма. Традиционный подход к моделям машинного обучения — черный ящик. Мы видим вход и выход, но не можем сказать, почему на выходе получен именно такой результат. Такое отсутствие интерпретируемости порождает недоверие к алгоритмам CV, особенно в областях с высокой ценой ошибки (например, в медицине).

Будущее компьютерного зрения

По предварительной оценке TAdviser, российский рынок CV может достигнуть объема в почти 40 млрд рублей к 2025 году, показав пятикратный рост с момента проведения исследования в 2019 году.

Сегодня можно выделить следующие тенденции развития CV-технологий:

  • Появление эффективных алгоритмов и способов обучения, которые позволят обучать качественные модели на небольших датасетах.

Сейчас для обучения модели под новую задачу требуется от нескольких сотен до нескольких тысяч размеченных изображений. Сбор и разметка такого датасета потребуют затрат, а в некоторых случаях это и вовсе невозможно. Таким образом, индустрии необходимо научиться работать с данными более эффективно.

  • Развитие мультимодальных моделей, способных обрабатывать данные нескольких типов одновременно — например, изображения и текст.

Существующие сегодня модели способны более-менее точно работать либо с текстами, либо с картинками. Однако эти типы данных часто встречаются вместе: текст с иллюстрациями, видео с субтитрами и комментариями и т.д. Есть все основания полагать, что обработка таких ситуаций одной моделью упростит процесс разработки алгоритма и значительно повысит точность результата.

  • Появление новых сценариев применения — например, ответы на вопросы по изображениям и видео, задаваемые и генерируемые на естественном языке.

Сейчас работа с картинками сводится, как правило, к ее классификации, сегментации или детекции объектов. Интерпретация результатов, их преобразование в понятный человеку результат, фильтрация и прочее реализуются отдельными алгоритмами или с использованием дополнительных моделей. Идея объединения модели и алгоритмов постобработки в единой модели видится вполне перспективной. Имеющееся на входе видео на выходе преобразуется в текстовое описание произошедших событий. На входе описание ситуации — на выходе набор картинок, изображающих эту ситуацию. На входе картинка и вопрос — на выходе ответ на вопрос на основе картинки. Такое решение позволит повысить качество получаемых результатов и упростить разработку.

Вместо вывода

Сфера применения CV-технологий расширяется год за годом. Остается все меньше отраслей бизнеса, где нейросети не смогли бы прийти на помощь человеку, а иногда и полностью заменить ручной труд или автоматизировать рутинные задачи.

Отношение к компьютерному зрению может быть неоднозначным. С одной стороны, технология поднимает много этических вопросов и регулируется на законодательном уровне во многих странах. С другой, она является мощным исследовательским инструментом, к которому все чаще обращается бизнес – на волне интереса к алгоритмам искусственного интеллекта. По всем прогнозам, в обозримом будущем стремительно развивающийся рынок компьютерного зрения ждет еще больший рост.

Здесь можете посмотреть, как мы уже более 10 лет используем Data Science для решения задач клиентов. А если остались вопросы, пишите в комментарии или в личку, постараюсь ответить.

1414
1 комментарий