Кейсы компьютерного зрения: как облачный ИИ помогает зарабатывать бизнес-заказчикам и разработчикам

Не все понимают, как подступиться к обработке видеоданных и под какие задачи можно приспособить технологии компьютерного зрения. Компания VisionLabs, партнер облачного провайдера #CloudMTS, разрабатывает программно-аппаратные платформы распознавания лиц и объектов для банков, ретейла, транспорта, производственных предприятий. Расскажем, с какими сценариями команда сталкивается на практике чаще всего и для каких целей здесь применяет облачные технологии. И как наша облачная платформа помогает разрабатывать и внедрять такие решения.

В прошлом году специалисты из Fortune Business Insights оценили рынок видеоаналитики в $5,3 млрд, а в этом — уже в $6,35 млрд. По прогнозам, к 2029 году эта цифра вырастет до $28 млрд. Российский сегмент тоже развивается стремительно — по оценкам IDC, через три года его объем составит 3,6 млрд рублей. При этом интерес к сервисам видеоаналитики растет на 15% ежегодно.

Помощь на производстве

Ежегодно 2,3 млн специалистов получают травмы из-за несчастного случая на производстве — так посчитали в Международной организации труда. Сократить эту цифру пытаются разными способами, в том числе за счет внедрения видеоаналитики в цехах и на стройплощадках.

Платформа LUNA VMS от VisionLabs контролирует ношение касок, респираторов и других средств индивидуальной защиты (СИЗ) рабочими. Также умные алгоритмы реагируют на аномальные ситуации на производстве. Если сотруднику стало плохо, он упал и лежит дольше пяти секунд, система уведомит местного супервайзера или медработника.

Другой кейс — контроль числа специалистов на объекте, если для обслуживания конкретного станка необходимо строго установленное количество инженеров (по технике безопасности).

Еще одно перспективное направление развития видеонаблюдения на производстве — визуальный контроль качества продукции. Компании перепоручают эту задачу алгоритмам компьютерного зрения, а освободившимся сотрудникам предлагают более интересные задачи. Например, VisionLabs разрабатывает систему оценки качества крафт-бумаги для одного целлюлозно-бумажного комбината. Установленная камера над конвейером бумажной машины будет следить за появлением разрывов и «неравномерностей» в структуре крафтовой продукции.

Подобные решения позволяют собирать статистику — так можно проанализировать, какие инциденты случаются чаще всего, и уделить им внимание. Если на бумаге часто появляются трещины, то стоит поискать проблему на предыдущих этапах производственного цикла или перенастроить конвейерную линию.

Оплата покупок

Речь идет о бесконтактной оплате с помощью биометрии. Магазину достаточно установить платежный терминал LUNA POS и нашу программную платформу, а также заключить договор с банком-эквайером. Система предлагает дополнительные возможности по работе с программами лояльности – автоматически применит скидку или начислит бонусные баллы «по лицу».

Сама по себе технология биометрической оплаты пока не сильно распространена, но интерес к ней начал расти после ухода иностранных платежных систем с российского рынка. Сегодня заплатить «взглядом» уже можно в некоторых магазинах «Перекрёсток», «Пятёрочка» и «Магнит».

Еще один проект с наработками VisionLabs — оплата проезда в метрополитене. Алгоритмы шифруют изображение лица в биометрический дескриптор и привязывают его к банковской карте. Камера у турникета ищет соответствующие данные в базе и автоматически списывает оплату.

Анализ клиентского потока

В отличие от привычных инфракрасных счётчиков, фиксирующих число посетителей, видеоаналитика позволяет делать гораздо больше. Решения VisionLabs умеют распознавать «повторяющихся» людей в кадре — система понимает, если один человек зашел и вышел из магазина несколько раз, то это, скорее всего, сотрудник. Продавцам больше не нужно беспокоиться, что они испортят статистику и пригибаться каждый раз, проходя через рамку.

В то же время видеоаналитика позволяет накопить данные для оценки эффективности продаж, выкладки товаров, маркетинговых акций. Если установить умную камеру в кассовой зоне, можно отслеживать эмоциональные ситуации, когда посетители остаются недовольны обслуживанием или покидают пространство с приподнятым настроением. Так, в контексте других показателей, можно разрабатывать стратегии повышения пользовательского опыта.

Мониторинг транспорта

Речь об управлении транспортными потоками. Видеоаналитика может распознавать тип автомобиля — пассажирский, грузовой, спецтехника, машина экстренных служб — а также номерные знаки. В транспортной сфере есть и другие задачи в масштабе города. Так, алгоритмы VisionLabs используются Центром организации дорожного движения Правительства Москвы для проверки изображений, поступающих от комплексов фотофиксации нарушений ПДД. В результате проверки система предоставляет решение о правомерности выставления штрафа для вынесения постановления инспектором.

Оценка благонадежности клиента

Эта функция особенно интересна для финансовых учреждений, банков и страховых компаний. Предприятие внедряет платформу биометрии, создает черный список с мошенниками — например, клиентами, которые пытались получить кредит по чужому паспорту. Системы видеоаналитики уже способны распознать человека, даже если он надел маску или смотрит в сторону — поиск по базе из 12 млн изображений займет не более 50 мс. Платформу VisionLabs используют несколько крупных российских банков — в сумме она сэкономила миллиарды рублей.

Система оценки благонадежности хорошо работает в паре с дистанционным обслуживанием, когда необходимо подтверждать финансовые операции в удаленном формате по лицу. Обмануть систему с помощью видео или фото трудно — она определяет «живость» (liveness) человека с высокой точностью (до 99,3%).

Первое время команда VisionLabs занималась развитием технологий компьютерного зрения на собственной инфраструктуре. Однако разработка моделей-трансформеров, которые используют механизм внимания для повышения скорости и точности обучения, требует крупных наборов обучающих данных — это десятки миллионов изображений. Такие же нейросетевые модели сейчас используются в самых продвинутых алгоритмах обработки естественного языка GPT.

В итоге эффективность алгоритмов оказалась ограничена доступными мощностями. Чтобы исправить ситуацию, компания развернула обучающий полигон на базе облачной платформы.

Масштабирование моделей

В облаке легко расширить объем вычислительных ресурсов — объем хранилищ, число процессоров и графических карт. Большие мощности означают лучшее качество моделей. Так, нейросеть распознавания лиц, обученная в облаке, допускает на 15% меньше ошибок по сравнению с нейросетью, реализованной на собственных мощностях VisionLabs. Разницу можно увидеть на графиках ниже:

Ускоренная разработка

Процесс обучения модели включает несколько шагов — подготовка данных, непосредственно обучение, оценка производительности и «дообучение». Облако позволяет ускорить продвижение по пайплайну. Наш клиент использует стандартный для отрасли фреймворк PyTorch с нужными библиотеками и зависимостями. Для начала работы достаточно загрузить Docker-контейнер через предоставленное подключение к серверу через ssh.

Выгодная тарификация

Тарифы #CloudMTS подходят для долгих процессов обучения — каждая эпоха (итерация в процессе обучения) занимает около четырех суток. Суммарно на обучение нейросети уходит порядка двух месяцев. По завершении процесса можно отключить ненужные ресурсы и перестать за них платить.

Встроенные инструменты мониторинга

В облаке можно отслеживать, как продвигается обучение, и все ли идет по плану. Например, во время тестового периода VisionLabs загрузили к нам свой демо-контейнер со стандартным набором инструментов обучения для пробных запусков. Проверив логи, мы установили, что проблем нет и можно переносить основную систему.

Облачные технологии не только помогают с обучением машинных моделей, но и упрощают их развертку клиентам VisionLabs на реальных проектах.

Легче масштабировать

В зависимости от задачи, системы видеоаналитики могут обрабатывать десятки и тысячи лиц и объектов в час. В Москве по муниципальным камерам в рамках системы безопасного города проходит более миллиарда транзакций (распознавания и сравнения лиц). В то же время одной из приоритетных задач, стоящих перед системами видеонаблюдения, является повышение качества картинки.

Подобный объем данных требует серьезных мощностей, но серверное оборудование такого уровня могут позволить не все. Особенно в нынешних условиях, когда поставщики железа уходят с рынка. В облаке можно за 5 минут увеличивать и уменьшать вычислительные ресурсы по желанию. При этом провайдеры имеют больше возможностей по поддержанию парка серверов в рабочем состоянии.

Соблюдать законодательство

Видеоаналитика работает с биометрией. По закону обработку таких данных регулирует 152-ФЗ «О персональных данных». Обладателю системы распознавания лиц необходимо получать лицензию и выполнять требования к безопасности ИТ-инфраструктуры. Мы предлагаем сервис IaaS 152-ФЗ, в рамках которого берем эту задачу на себя: обеспечиваем хранение и обработку персональных данных с учетом всех требований законодательства.

Стать партнером облачного провайдера

В рамках партнерской программы разработчики могут воспользоваться нашей инфраструктурой для запуска собственных бизнес-решений.