Выбросьте ваши банковские карты и платите лицом

На конференции Finovate Fall в Нью-Йорке команда Ак Барс Банка представила прототип системы видеовалидации платежей по лицу Face2Pay («Плати лицом»), который представляет собой технологию распознавания лиц с целью дальнейшего списания оплаты за товары или услуги, а также безбарьерного доступа в различные учреждения.

Команда, работавшая над проектом, стремилась качественно изменить жизнь людей, устранить барьеры доступа в школы, предприятия, госучреждения и значительно упростить оплату в торгово-сервисных компаниях и транспорте.

Технология способна изменить повседневные привычки людей

В 2018 году на базе направления R&D Ак Барс Цифровые Технологии была собрана команда, которая начала разработку прототипа технологии видеовалидации платежей по лицу. Идея проекта – упростить процесс оплаты покупок, а также создать возможность безбарьерного доступа в местах большого скопления людей: в аэропортах, на транспорте, на спортивных мероприятиях, в образовательных учреждениях и других объектах. Команда стремилась к тому, чтобы разработка отличалась от других подобных технологий. Например, в отличие от технологии, используемой в Amazon Go, для оплаты покупок не нужен смартфон. Гаджет необходим только при первоначальной регистрации в системе и отправке видео-изображения лица.

Основная конкуренция среди финансовых и нефинансовых сервисов сегодня складывается не на уровне стоимости услуг и технологий, а на уровне лучшего пользовательского опыта. Наша задача – находить наиболее удобные, безопасные и простые решения для предоставления наилучшего пользовательского опыта.

Илья Вельдер, управляющий директор блока "Стратегия Инновации Маркетинг" Ак Барс Банка

Процесс разработки занял полгода. Команда работала итеративными методами. Работа началась с исследований в этой области – знакомства с научными статьями, блогами, открытыми источниками данных. Изначально была создана платформа для распознавания лиц на потоковом видео с использованием внешнего API. После успешной демонстрации проекта было принято решение разработать собственный алгоритм распознавания лиц. Команда изучила подходы Google, Facebook и других систем.

Модель была протестирована на собственных сотрудниках. Затем были разработаны кейсы, при которых технология может быть использована не только для распознавания лиц в потоковом видео, но и для оплаты на сайте и прохождения турникетов.

На российском рынке у технологии нет активных конкурентов

В мире примерно в одно и то же время несколько высокотехнологичных компаний внедрили подобную технологию в повседневную жизнь. К примеру, в Китае технология используется как на коммерческой основе, так и для наблюдения за порядком. В США Amazon Go внедрил бескассовое обслуживание. Достаточно широкое распространение получила идентификация пользователя в финансовых приложениях с помощью технологии Face ID.

Технология Face2Pay создавалась с перспективой применения на российском рынке, где у нее нет активных конкурентов. В новостях появилась информация, что Минстрой РФ планирует включить биометрическую систему распознавания лиц в стандарт «смарт-сити» для российских городов. Однако конкретных действий в этом направлении еще не предпринято. Компаний, которые уже имеют «боевые» прототипы подобной технологии, даже в мировом масштабе совсем немного.

Среди технологических трендов, которые сподвигли банк к созданию Face2Pay – появление системы бескассового обслуживания в магазинах Cashier Free. Еще один тренд – это токенизация платежей, которые становятся все безопаснее. Пользователи все меньше хотят брать с собой дополнительные инструменты – деньги и пластиковые карты, которые могут быть похищены или скопированы. Появление технологии Face ID сделало платежи еще более безопасными, а также предоставила возможность оплачивать товары и услуги онлайн с помощью биометрии. Такие технологии, как Face2Pay, станут последним этапом – когда и средство платежа похитить нельзя, и сам платеж защищен уникальными биометрическими данными.

Собственная разработка позволяет хранить информацию о клиентах в России

– Изначально банк решил протестировать гипотезу востребованности такого продукта у клиентов, для чего была создана платформа, использовавшая внешний сервис по распознаванию лиц. Когда гипотеза успешно прошла этап тестирования, было принято решение создать собственную разработку, которая бы не зависела от внешних сервисов.

Face2Pay применяет некоторые открытые API, но инновационность этого технологического продукта заключается в магическом соусе, получившемся при смешении ингредиентов.

Ярослав Шуваев, руководитель направления R&D Ак Барс Цифровые Технологии:

Наличие собственной разработки решает проблему необходимости хранить данные за пределами РФ. Если применять внешний сервис, то полуавтономные системы, которые не всегда подключены к интернету в реальном времени, могут давать сбой. Собственная технология может быть использована автономно, без подключения к удаленному сервису.

Для ведения разработок банку требовались специалисты, обладающие компетенциями в области компьютерного зрения, стандартных методов машинного обучения, нейронных сетей, дизайнеры, веб-разработчики, разработчики мобильных приложений и серверной части.

Дорожная карта Face2Pay
Дорожная карта Face2Pay

Точность 99.5%

Когда применялся внешний API, процесс распознавания лиц занимал достаточно много времени. После замены на собственный алгоритм проблема отпала, и теперь нужно не более 0.3 секунды на распознавание одного лица.

– Если использовать только 1 – 5 фотографий одного человека для обучения алгоритма, то система может быть подвержена ошибке определения лица именно в таком цветовом и световом решении, дистанции, или, например, с улыбкой и т.д. Эту проблему решали с помощью аугментации изображений (генерации новых фотографий на основе имеющихся) и обучения с помощью видео. 7 секунд видео дают нам более качественный результат. Далее мы можем аугментировать определенные кадры, меняя насыщенность, яркость картинки, положение лица. Также за 7 секунд видео лицо может оказаться в разных положениях, что тоже полезно для обучения алгоритма. Это позволило нам избавиться от переобучения системы для распознавания статического положения лица.

Рустем Галиуллин, эксперт в области машинного обучения Ак Барс Цифровые Технологии:

Также команда столкнулась с необходимостью балансировать между двумя видами ошибок в ответах алгоритма. В машинном обучении при выборе модели всегда приходится учитывать баланс между ложноотрицательными и ложноположительными ответами.

Ложноотрицательные – не распознали человека, ложноположительные – классифицировали как другого человека.

Уменьшая одну из ошибок, обычно увеличиваешь другую.

Поэтому потребовалась калибровка порогов принятия решений для минимизации негативного эффекта. Для этого использовались разные распределения данных: 2-ступенчатая модель принятия решения, тестирование линейных и нелинейных классификаторов.

В итоге удалось достичь точности близкой к 99.5% на целевой выборке лиц.

Пример интеграции технологии Face2Pay в мобильное приложение
Пример интеграции технологии Face2Pay в мобильное приложение

Люди боятся, что за ними будут следить

Когда банк рассказал о технологии в средствах массовой информации, некоторые читатели выразили свои сомнения.

Многие думают, что банк хранит фото и видео клиентов, связанные с паспортными данными

В базу вместо фотографий загружаются тензоры – многомерные числовые векторы, которые сопоставляются с обезличенными внутренними идентификаторами. Кроме того, эти данные защищены от мошенников.

Другие считают, что технология может применяться для слежки

Размышления о том, что переход на видеовалидацию при помощи биометрии, связан с отслеживанием перемещений людей, немного запоздали. В открытом доступе уже есть сервисы типа Find Face, которые в связке с видеокамерами на улицах позволяют отслеживать перемещения людей. И те, кто считает, что коммерческая технология оплаты лицом может быть использована в других целях, просто не понимает ситуацию в целом.

Платить лицом где угодно

Онлайн-платежи

От клиента не требуется, чтобы он вводил данные карты, нужно, чтобы у него просто был доступ к камере.

Пример использования технологии Face2Pay при онлайн-покупках
Пример использования технологии Face2Pay при онлайн-покупках

Оффлайн-платежи:

- оплата билетов в общественном транспорте

- покупки в бескассовых зонах магазинов

- оплата покупок в торгово-сервисных предприятиях

- оплата обедов в школьных столовых

- оплата услуг в фитнес-центрах, аквапарках, где особенно неудобно носить с собой карточку, а электронный браслет нужно предварительно пополнять

- оплата внутри гостиниц

- мгновенная покупка билетов непосредственно перед мероприятиями

Безбарьерная среда, где лицо служит пропуском:

- на форумы, конференции и другие мероприятия

- в образовательные учреждения

- в фитнес-центры, аквапарки

- в гостиницы

- и многие другие объекты

Опыт Finovate Fall 2018

Банк представляет свои инновационные решения на ярмарке мировых перспективных разработок Finovate уже второй год подряд. В этом году команда продемонстрировала возможности Face2Pay, а в прошлом году – дополненного искусственного интеллекта Aimee.

Презентация технологии Face2Pay на Finnovate-2018 в Нью-Йорке
Презентация технологии Face2Pay на Finnovate-2018 в Нью-Йорке

Вопреки мнению, что на Западе технологии являются более развитыми, и там уже давно работает то, о чем у нас в стране только начинают размышлять, во многих американских и европейских банках отсутствуют ФинТех-решения, внедренные в российских финансовых институтах. Конечно, такая ситуация не во всех областях, но тем не менее.

Поэтому зарубежные коллеги проявляют интерес к российским разработкам. Те, кто видел выступление команды банка в прошлом году, узнали, что представленное тогда решение – дополненный искусственный интеллект, уже используется для развития бизнеса. Для зарубежных коллег – это свидетельство того, что слова не расходятся с делом. В этот раз банк получил предложение о коллаборации в развитии совместного проекта.

1010
14 комментариев

Скоро можно будет буквально торговать е**лом

3
Ответить

Уже торгуете? Почем?

1
Ответить

Зашел сюда чтобы увидеть этот коммент XD

Ответить

Горд за АББ, работал там) Спасибо, что расписали подробности, было интересно)

2
Ответить

Биометрия по лицу это конечно клёво, но как быть с ИИ, который уже умеет накладывать маску другого лица на видео, то ли еще будет. Использовать обычную камеру для биометрии при подтверждении транзакций явно недостаточно для безопасности.

2
Ответить

Пластика под Била Гейса.

1
Ответить

Ну молодцы, че) Лицом так лицом

1
Ответить