Компьютерное зрение вошло в список 15 наиболее значимых цифровых технологий российской промышленности. Системы биометрии, трекинга и расширенной видеоаналитики начинают широко использоваться во многих сферах: от безопасности до здравоохранения и логистики.
О самых успешных кейсах, работающих в российском бизнесе, рассказал генеральный директор компании VisionLabs Дмитрий Марков.
Одна из наиболее интенсивно развивающихся сегодня отраслей искусственного интеллекта – компьютерное зрение. В широком смысле это набор методов, позволяющих компьютеру обрабатывать визуальную информацию. На базовом уровне все такие системы состоят из аппаратной части (камеры) и программной (нейросети).
Современные сервисы способны анализировать не только штрих-коды, фотографии предметов и видео с дорожных камер, но также распознавать лица людей. При необходимости – могут считывать их эмоции или интерпретировать жесты и движения. На саммите Machines Can See 2022 коллеги из российских компаний показывали успешно внедренные разработки. Некоторые из них уже используются в российской промышленности и бизнесе, остановимся на них подробнее.
Системы распознавания жестов
Технология бесконтактного управления мультимедиа сейчас только начинает обретать популярность. Вообще это очень удобно и с точки зрения безопасности, и просто комфортно в быту. Например, жестами можно переключать треки, менять громкость или останавливать воспроизведение музыки в машине, не отвлекаясь при этом от дороги. Дома можно переключить канал или сделать интересную передачу погромче, даже если у вас мокрые руки или пульт слишком далеко.
Основные трудности тут пока заключаются в том, что управляющие жесты очень похожи на движения, которые человек совершает, просто выполняя какие-либо бытовые потребности. Условно говоря, если потянуться за кружкой, отогнать муху или поправить подушку – система может принять это за свайп или вращение и начать выполнять команду.
Чтобы «объяснить» ИИ, какие жесты нужно исполнять, а какие – игнорировать, исследователи из VisionLabs нашли интересный компромисс. С одной стороны, чем больше кадров жеста успеет обработать система, тем с большей точностью она сможет предсказать конечный результат и быстрее исполнить команду. Но чем позже во времени отодвинуто событие, тем ниже вероятность ложного срабатывания. Поэтому событием решено считать момент, когда жест завершен на две трети.
Далее нейросеть обрабатывает входные данные и принимает решение: исполнять команду или игнорировать движение. При использовании модуля темпорального сдвига (temporal shift module) время обработки таких решений заметно сокращается. В качестве успешного примера реализации технологии можно назвать умный дисплей SberPortal: устройство узнает владельца в лицо, запускает и сворачивает приложения по движению руки. А благодаря мощному нейропроцессору, выполняет операции без задержек.
Биометрические системы
Речь идет о цифровых платформах и сервисах, позволяющих идентифицировать человека по его биометрическим характеристикам – а именно, по лицу. С помощью этих данных система может оказывать пользователю различные услуги – от верификации личности для доступа, например, в офис, до оплаты проезда на транспорте и обращений в государственные учреждения.
Единая биометрическая система уже работает в связке с ЕСИА, поэтому для пользователей портала «Госуслуги» она фактически равняется использованию паспорта гражданина РФ. Для регистрации в системе нужно обратиться в отделение банка, подтвердить личность и сдать необходимые данные (как правило, это фото лица, сканирование отпечатка пальца и запись голоса). Это совместная разработка с ПАО «Ростелеком».
Подобные системы находят применение и в коммерческих структурах. Тут можно вспомнить FacePass на горнолыжном курорте Шеригеш. А также опыт компании АО «Гринатом» по внедрению отраслевой платформы биометрических данных. Или разработку Уральского центра систем безопасности и VisionLabs – сервиса по контролю доступ на объекты с помощью идентификации лица.
Оплата по лицу
А еще биометрию можно использовать для оплаты товаров и услуг. Например, наработки VisionLabs в области биометрии были использованы для оплаты проезда в московском метрополитене. Камера на турникете считывает лица пассажиров и сверяется с базой данных. Если человек привязал карту к своей учетной записи, при прохождении через биометрический дескриптор активируется списание нужной суммы.
Биометрические системы оплаты пока только начинают становиться массовыми. Однако после ухода иностранных платежных систем из России к таким технологиям проявился значительный интерес. Оплату покупок «взглядом» тестируют в некоторых своих торговых точках «Перекрёсток», «Пятёрочка» и «Магнит».
И в принципе, здесь нет технических сложностей или особых моментов. Чтобы реализовать систему расчета за товары и услуги по биометрии, нужно установить платежный терминал, поддерживающий программную платформу и заключить договор с банком-эквайером. Причем система может как принимать оплату, так и начислять кэшбек или бонусные баллы, проводить другие операции, предусмотренные программами лояльности.
Мультикамерный трекинг
Здесь речь идет о вычислении маршрута каждого человека в зоне действия системы. За счет покрытия определенной площади камерами, алгоритмы могут собирать данные с каждого устройства и «отслеживать» перемещение человека или определять, где он находится в каждый момент времени. Наработки VisionLabs позволяют использовать любые имеющиеся в наличии камеры видеонаблюдения. Алгоритмам не мешает наличие слепых зон, к тому же, не требуется обязательная идентификация объекта по лицу – это остается дополнительной опцией.
Благодаря использованию такой системы можно решать самые разные задачи: от построения диаграмм и персонализированных тепловых карт до контроля очередей. ИИ может, например, посчитать среднее время обслуживания клиента у каждого менеджера, отследить наиболее «проходные» маршруты в торговом зале, контролировать наполняемость полок с товаром и даже выявлять конверсию просмотров в покупку.
Для сферы безопасности переоценить значение таких сервисов трудно. Это и поиск по архиву преступников, находящихся в розыске, и отслеживание людей из списка нежелательных посетителей, и контроль соблюдения пропускного режима. Помимо всего вышеназванного, систему можно будет использовать, например, для поиска пропавших людей – но для этого необходимо очень широкое покрытие, хотя бы в масштабах одного района.
Компьютерное зрение в промышленности
В продолжение темы – видеоаналитика на производстве. На базе той же системы видеотрекинга можно смонтировать нейросеть, которая будет следить за соблюдением техники безопасности: в цехах, на стройплощадках или в офисе. Тут стоит упомянуть нашу платформу LUNA VMS. Она способна отслеживать ношение сотрудниками СИЗ – касок, респираторов и других элементов, обязательных на конкретном объекте.
Алгоритмы могут, например, контролировать соблюдение людьми социальной дистанции в очереди или реагировать на нестандартное поведение. Например, если человек упал и не встает дольше пяти секунд или перемещается по хаотичной траектории, размахивает руками, проявляет признаки агрессии. При обнаружении любой такой аномалии, система уведомит ответственных сотрудников, вызовет охрану или скорую помощь. Кейс также может использоваться для контроля нахождения работников на месте, время их прихода и ухода, сбора статистики перекуров и другого неэффективного времяпрепровождения. Например, в Segezha Group использовали компьютерное зрение для контроля сырьевых потоков и комплексной безопасности, а одна из структур Газпромнефти нашла применение видеоаналитике в нефтяной отрасли.
В числе перспективных направлений видеоаналитики стоит отметить также визуальный контроль качества продукции. VisionLabs сейчас работает над алгоритмами, способными оценивать крафт-бумагу: камера над конвейером будет фиксировать разрывы, неровности, замятия и другие видимые дефекты, после чего предоставит в ОТК статистику. Система будет использоваться на крупном целлюлозно-бумажном комбинате.
Польза для вашего предприятия
И в завершении пару слов об общих положительных эффектах, которые технологии машинного зрения окажут на бизнес-процессы. Используя сервисы биометрии и видеоаналитики, можно получить:
- Высокий уровень сервиса. Идентификация по лицу ускоряет обслуживание клиента, делает таргетированную рекламу более точной, облегчает получение обратной связи;
- Оптимизацию рабочего времени. Отслеживание KPI, контроль очередей и наполнения полок, выявление брака на производстве в автоматическом режиме позволят тратить меньше времени на ревизионную деятельность и облегчат внутренний аудит;
- Автономность бизнес-процессов. От контроля посещаемости рабочего места сотрудниками до обслуживания беспилотниками складских помещений;
- Продвинутую безопасность. Контроль доступа на объект, мониторинг опасных ситуаций и производственного травматизма, работа с «черными списками».