Как работает система распознавания лиц и как ее использовать в бизнесе

Автор колонки Константин Харитонов, он представляет компанию Полдень на территории США. 10 лет опыта в киноиндустрии, 15 лет в руководства разработкой программного обеспечения, создал пару стартапов.

Статья будет постоянно обновляться. Хотите добавить свое решение или user case? Пишите Константину: [email protected]

Это моя первая статья на vc.ru. Постараюсь писать раз в неделю, про идеи и реальные кейсы, применение прорывных технологий, таких как ML, CV, Big Data и так далее. Все это можно применить к большим выставкам или небольшим мероприятия, инсталляциям и ритейлу, развлекательным паркам и музеям. Моя задача — систематизировать как технологии могут сэкономить или заработать вам деньги, как они могут удивить посетителей, а также дать вам перечень готовых вендоров и сервисов.

Конкретно в этой статье постараюсь рассказать про распознавание лица, как оно работает, как эту технологию применять в индустриях описанных выше.

Многие до сих пор сидят по домам, но думаю это рано или позно закончится, люди по своей природе любят встречаться лично. Поэтому намеренно в основном включил кейсы про что то осязаемое, а не online мероприятия, zoom и вот это все. Я, например, буду в ближайший месяц, на двух выставках: автошоу в Чикаго, Heli Expo в Далласе.

Также не будем обсуждать страхи людей из-за того что компании вроде Facebook (Meta) и государственные службы постоянно используют системы распознавания лиц. По-моему было модно бояться этого несколько лет тому назад, но сейчас уже почти все привыкли.

К слову, технологии уже даже адаптировались к тому, что лицо человека часто закрыто медицинской маской. Лучшие программные алгоритмы (в основном коммерческие) допускают ошибки около 3% для лиц в масках, что сопоставимо с показателями 2017 года без масок. Более подробно Face recognition accuracy with face masks using post-COVID-19 algorithms (США, NIST, 2021).

Первый раз на мероприятии я столкнулся с системой распознаванием лиц в 2017 году. На том мероприятии было где-то 300 человек, и работали два фотографа, думаю они сняли очень много фотографий.

Буквально через час после мероприятия, всем участникам пришло письмо: зайдите с телефона по ссылке, мы пришлем все фото с вами. По кнопке в мобильном браузере сделал селфи, через 10 секунд на почту пришло письмо с 20+ фото, как я выступал со сцены, как беседовал в зоне нетворкинга, это было вау!

Этот сервис по распознаванию тогда сделала Ntechlab, сейчас это ведущий разработчик решений для Face Recognition в восточной Европе и Азии. К сожалению, продукт для мероприятий они больше не делают, переключились на другие, думаю более прибыльные, отрасли.

Для подобного кейса, сейчас вы можете применить сервис Photier. Его создали в Лондоне в 2017. Для посетителей работает через ios и Android, умеет делать брендирование фото. Зачем пользоваться такими фото? Ими активно делятся в соцсетях, фото брендировано, что повышает осведомленность о бренде. Люди сами выбирают понравившуюся фотографию, которой хотят поделиться.

Чтобы хорошо поставить задачу перед IT, менеджеру стоит понимать как работает система изнутри.

Система распознавания лиц — это технология, способная сопоставить лицо человека из цифрового изображения или видео, с базой данных лиц. Применяться уже давно, с 60x годов. В 21 веке произошло повышение точности распознавания, когда стали применяться алгоритмы машинного обучения. Параллельно с распознаванием лица легко определить пол, возраст, выражение лица.

Вот тут есть прекрасная статья о том, как работает, и туториал по программированию на Python + OpenCV с применением предварительно обученной библиотеки Machine Learning. Весь ресурс PyImageSearch прекрасен, можно учиться там самим или оплатить обучение детям (15$ в месяц). Хотя мой сын пока ленится, говорит мне, что занят обучением в обычном университете, надеюсь он это не читает)

Стоит заметить, что часть готовых продуктов ниже, применяет open source библиотеки по распознаванию лиц, а часть применяет коммерческие. Как пользователь продукта вы об этом никогда не узнаете.

Вот обзор open source библиотек, а вот некоторых платных систем, не стоит верить цифрам таких обзоров, их очень много на просторах интернета. У вас должно быть много времени, чтобы пробовать и найти свою или достаточно денег, чтобы использовать универсальные решения от гигантов типа Microsoft, Amazon, Google или Yandex, Ntechlab.

Национальный Институт Стандартов и Технологий США признал технологию NtechLab № 1 в мире по результатам независимого тестирования NIST в 2021 году.

Чем же распознавание лиц может помочь мероприятиям, инсталляциям, ритейлу, развлекательным парках, музеям. Ниже описал основные направления и сценарии применения.

• Авторизация и доступ сотрудников
• Авторизация и доступ посетителей
• Точный подсчет посетителей, определение пола и возраста посетителей
• Авторизация покупок
• Проверка возраста

• Снижение воровства и предупреждение финансовых потерь
• Отслеживание vip посетителей и скидки
• Показ таргетированной рекламы

• Определение количества посетителей на конкретном стенде выставки
• Аналитика по эмоциональной реакции посетителей на выступление
• Различные механики по получению фото и видео после посещения

• Различные механики по получению фото и видео после посещения развлекательного парка

• Разные экспонаты с механикой распознавания лиц

Ниже рассмотрим список продуктов, по каждому из направлений. В каждой из категори постараюсь описать сценарии использования и ссылки на разные исследования по данной тематике.

Обычно в фильмах система распознавания лиц стоит где-то в здание ЦРУ, но по факту сегодня она есть в вашем телефоне. Поэтому такая система может быть доступна для любой средней компании.

Дополнительный уровень идентификации при помощи установки турникета с системой распознавания лиц ограничивает риски: подделки RFID-карты (или ключей), передачи их третьему лицу, риск доступа нескольких человек по одной карте.

Особенно полезна такая система в зонах повышенной безопасности таких как дата центр, зона хранения различного спец. оборудования для тех же парков развлечений, хранилища музея. В этом случае можно использовать терминалы доступа (они обычно располагают на стене) с распознаванием лиц для ограничения допуска сотрудников.

Кроме того, распознавание лиц поможет с точным учетом времени работы сотрудников, а также учетом времени работы временного персонала: клининговых компаний и других подрядчиков.

Вот некоторые вендоры которые делаю турникеты и терминалы с распознаванием лиц: Yitu, Megvi, Hikvision, SenseTime, BioID и тд. Полный список есть в этом отчете, сам отчет платный, но список бесплатный.

Стоимость от 500 usd за терминал, до пары десятков тысяч за турникеты.

Обычно подобное применяется на конференциях в Европе, чтобы обеспечить более высокую скорость регистраций и доступа. Посетитель в таком случае уже заранее отправил селфи при покупке билета.

Также такой подход позволяет защититься от передачи билета третьему лицу, особенно когда билет не очень дешевый.

Список вендоров частично есть выше, но тк продукты другие и связаны с продажей билетов, то есть и специализированный список для ивентов: скажем тут.

Аналитика по полу и возрасту, длительности нахождения посетителя нужна вашему отделу маркетинга как воздух. Google Analytics уже был у вас на сайте, но как же сделать то же самое для обычного магазина.

Аналитика по полу и возрасту собирается в обезличенном виде без идентификации людей по видеоизображению с камер на входе и выходе в тц, музее или парке развлечений. Анализ сведений позволяет узнать демографический срез покупателей, определить повторные посещения, понять, сколько времени люди тратят на покупки.

Большие торговые сети и сети парков развлечений, делаю свои решения, но вот некоторые из общедоступных FaceX и Displayforce

Когда я был в Китае в 2017, покупки «лицом» там уже были, но это были лишь эксперименты, пока в 2018 году AliPay не внедрил свою экосистему, потом 2019 то же самое сделал WeChat. Сейчас доля таких платежей растет, хотя как по мне, появилось некое плато, при этом у людей постарше такой подход популярен потому что доставать телефон, включать его и переходить в приложение не нужно.

Рост заметен по всему миру. Сам опопробовал такую систему в 2021 в Московском Метро. Это было классно, но ожидал чего-то большего.

Широко подобные системы пока не распространялись, потому как Apple и Google не хотят получать много дополнительный исков из кучи стран, но думаю постепенно это изменится, а локальные решения будут появляться все чаще.

Про покупки в парках развлечений и водных парках мы поговорим во второй части статьи.

Другая интересная история, связанная с покупками, — это проверка возраста. Покупая спиртное или заходя в музей эротики в Европе, у вас обязательно спросят ваш ID. Предполагаю, что скоро появятся и такие решения, которые определяют ваш возраст и сверяют ваш ID.

Кассир в Волмарте у меня поблизости часто вбивает мой возраст в кассу, он так явно тренирует нейросеть. Когда он перестанет это делать, значит нейросеть уже натренировалась, и тогда я смогу покупать вино в кассах самообоснования без кассира) )

Где-то это уже не давно шутки, в Великобритании в трех торговых сетях с конца 2021 используют решение от Yoti. Если вы купили алкоголь и система сомневается, что вы старше 29 лет, то касса самообслуживания загорается красным и ваш ID проверит человек.

Сейчас, если у вас онлайн конференция, на которой нужно проверить возраст, то вам возможно пойдут такие решения как Passbase. Пока его используют в отраслях как онлайн-гемблинг, спортивные ставки, гейминг, киберспорт и контент для взрослых.

Распознавание лиц помогает полицейским департаментам по всему миру различными способами.

В части стран, где такое возможно по закону, в магазинах используются системы распознавания лиц. Механика такая: когда человек, уже уличенный в магазинной краже, заходит в него, то раздается сигнал тревоги для сотрудников службы безопасности, предупреждая о возможном риске, предотвращая потери и снижая уровень преступности в розничной торговле. Вот пару кейсов от Ntechlab про кастомные решения в ритейле на территории разных городов России и торговых сетей.

В США законодательство НЕ запрещает использовать такую технологию почти во всех штатах и каунти, кроме нескольких в Калифорнии. По данным правозащитной группы Fight For the Future, такие компании как Apple, Macy’s, Albertsons, Lowes и Ace Hardware во всю используют в своих магазинах программы распознавания лиц для идентификации магазинных воров.

На заправке или магазине TV экраны нам уже давно продают товары. Пока экраны молчат и не говорят нам как герою Том Круза «Добрый день, мистер Anderton» (Minority Report), они все знают, но пока молчат, чтобы не испугать) )

Механика такая: камера в розничном магазине фиксирует лица покупателей и выводит на экран рекламные объявления. Они отображаются на основе возраста и пола пользователя, анализа выражения его лица и иногда как часть программы лояльности. Покупатель реагирует на объявление и направляется к товарам с помощью сообщения на экране. Более того, часто в подобных решениях есть реклама, не связанная с точкой продаж.

Вот некоторые из решений EZ-AD TV, FaceX, Displayforce, Id-Target | RecFaces

Это технология уже давно распространена и 3 — 4 года приносит прямой доход магазинам от рекламодателей.

Вот короткое видео которое объяснять как работает данная технология:

Насколько я помню, магазину в 5-10 раз дороже обходится привлечение нового клиента, чем стимулирование существующего. Поэтому одна из возможностей — это создание списка мониторинга с VIP-клиентами.

Механика работы такая: как только клиент зашел в магазин, консультант получает уведомления о визите. Так он сможет вовремя рассказать о новых поступлениях и любимых товарах клиента, продвигая при этом маржинальные продукты.

Вот некоторые решения для этой сферы Id-Target | RecFaces

Продолжение и рассказ о применении face recognition на мероприятиях, в развлекательных парках, инсталляциях и музеях в следующей статье.

Статья будет постоянно обновляться, свежей информацией.

Хотите добавить свое решение или user case? Вам нужны консультации или кастомное решения из областей выше? Пишите Константину [email protected]

#системараспознаваниялиц #распознаваниелиц #machinelearning #выставки #b2b