Тренд на биометрическую идентификацию: как нейронные сети распознают наши лица

В октябре в московском метро заработала новая система безналичного расчета – FacePay. Как работают нейронные сети в процессе распознавания лиц рассказывает Руслан Гримов, руководитель ML-департамента Friflex.

Мировой рынок технологий распознавания лиц, по данным MarketsandMarkets, к 2024 году вырастет до 7 млрд долларов. В России он ежегодно растет на 36%. Развитие рынка началось с запуском Единой биометрической системы (ЕБС). Первыми ее клиентами стали банки, позднее к ЕБС также подключились коммерческий и государственные секторы. Сегодня использование биометрии выходит за привычные пространства мобильных платежных систем Apple Pay и Google Pay, области здравоохранения, контроля безопасности и все чаще начинает находить применение в городе. Ключевым трендом российского рынка биометрических технологий можно назвать переход от внутрикорпоративного использования биометрии к активному освоению use-cases (сценариев использования), связанных с клиентскими сервисами. С применением технологии компьютерного зрения, к примеру в точках продаж, меняется не только культура потребления в пользу «магазина без касс», меняется CJM («карта пути клиента»), его модель потребления.

Рынок биометрических технологий в России отличается от мирового. За рубежом используют распознавание по отпечатку пальца – Fingerprint, а в России – технологию распознавания лиц Facial Recognition.

Существует несколько методов в технологии распознавания лиц:

• метод гибкого сравнения на графах (Elastic graph matching);
• скрытые Марковские модели (СММ, HMM);
  
• метод главных компонент или principal component analysis (PCA);
  
• нейронные сети.
  

Общим для них остается структура самого процесса распознавания. Первый этап – всегда определение лица на изображении, второй – получение с изображения определенных признаков и третий – сравнение данных признаков с существующей базой. Главное отличие между ними – в вычислении признаков и сравнении их совокупностей между собой.

Оптимальных результатов в технологии распознавания лица достигли нейронные сети. Нейронная сеть может не только проводить анализ информации, но и запоминать ее. Но сначала нейронная сеть должна научиться нас узнавать.

Обучить нейросеть распознаванию лиц – значит, заставить ее принимать на вход картинку с лицом человека, а на выход выдавать некоторый вектор из чисел — Face Descriptor. Приоритетно, чтобы расстояние между векторами лиц разных людей было большим. Это поможет снизить вероятность ложной идентификации. При процессе распознавания нейросеть будет выдавать приблизительно один и тот же вектор для измененных в зависимости от прически, макияжа, головного убора, ракурса, света и прочих факторов изображений одного лица. А для лиц других людей будут выдаваться различные векторы.

Для решения данного вопроса используется метод Tripled Loss.

Для каждого лица A из обучающей выборки мы выбираем два лица: P — лицо этого же человека, но снятое в других условиях или аугментированное изображение A при недостатке обучающих данных и N — лицо другого человека. Все три изображения пропускаются через одну обучаемую нейронную сеть f. Мы получаем три вектора: VA=f(A), VP=f(P), VN=f(N). Далее считаем Triplet Loss и делаем один шаг градиентного спуска, принуждая нейронную сеть уменьшить расстояние между векторами VA и VP и увеличить расстояние между векторами VA и VN.

После нескольких повторных применений математической операции мы получим нейронную сеть, преобразующую изображения лиц в векторы. Принцип подбора числовых векторов заключается в том, что для одного человека они будут схожими, а для других людей — различными. Нейронная сеть автоматически учится выделять признаки и сохранять их в виде числовых значений, поэтому определить за что отвечает каждый элемент вектора в точности нельзя. На практике есть вероятность того, что нейронная сеть сможет применить опыт с процесса обучения и на неизвестные объекты за счет процесса обобщения.

Обычно системы распознавания лиц состоят из камер и FR — системы распознавания. Первые принимают на вход видеопоток из последовательности кадров, которые потом передаются в систему распознавания лиц. Далее детектор лиц создает определенные ориентиры на лице, используемые для предварительного процесса обработки.

Face Detection — первый этап процесса распознавания лица. На фотографии определяется лицо человека после чего вырезается небольшая область вокруг. Когда лицо найдено, запускается процесс распознания. Нейронная сеть учится преобразовывать картинку с изображением лица человека в Face Descriptor. Такие факторы, как освещение, повороты головы, прическа и макияж не должны смутить ИИ. Нейронная сеть учится точно идентифицировать личность вне зависимости от данных изменений.

Для осуществления следующего этапа — сравнения дескрипторов, нам необходима специальная база данных. После выдачи нейросетью определенного дескриптора по базе запускается поиск, поэтому Face Descriptors должны храниться с привязкой к определенной личности. В хранилище подбирается максимально похожий на выданный нейросетью дескриптор. Таким образом, в случае нахождения правильного вектора в базе, машина узнает и идентифицирует личность.

Утверждается, что технология FacePay с вероятностью более 70 % сможет распознать человеческое лицо даже в медицинской маске. В отличие от Face ID некоторые системы распознавания могут не задействовать в процессе идентификации такие участки, как нос и рот, а определять личность исключительно по глазам. Значит ли это, что очки могут затруднить процесс оплаты в метро? Да, если они солнцезащитные или, например, с LED-лампами.

В японским национальным институте информатики специалисты разработали очки, которые не дают системам распознавания делать свою работу. Визуально очки не отличить от обычной оправы. 11 инфракрасных светодиодов, размещенных на аксессуаре, делают их обладателя незаметным для технологии распознавания и полностью нарушают процесс идентификации. Свет от диоидов закрывает лицо от системы, подсвечивая важные для процесса идентификации участки лица — глаза и нос. Дальше человек не может быть распознан нейронной сетью из-за искаженного изображения, полученного в камере.

Остаться незамеченным можно и с помощью менее технологического решения.

Сотрудники Израильского Университета имени Бен-Гуриона выявили, что даже легкий макияж может запутать систему идентификации. На начальном этапе также было необходимо выявить определяющие для узнавания системой участки лица. В ходе эксперимента исследователи использовали суррогатную систему модели Facenet. В нее загружали фотографии целевого человека и других случайных людей для создания тепловой карты, которая с помощью интенсивности градиента визуализирует важные участки лица. Чтобы заставить нейронную сеть сделать ошибку, на участки, выделенные на карте наиболее интенсивным градиентом, был нанесен макияж. Контуринг сделал нос визуально тоньше, а скулы — более выраженными. Чтобы получить естественный образ были выбраны косметические продукты только натуральных оттенков с преобладанием темно и светло-коричневых цветов в палитре теней и палетке для контуринга. Для макияжа губ аналогично не использовались яркие оттенки. В эксперименте участвовали 10 мужчин и 10 женщин в возрасте от 20 до 28 лет. Камеры распознавания лиц на основе модели LResNet100E-IR, ArcFace@ms1m-Refin-v2 правильно идентифицировали людей только в 1,22 % случаев.

Подделать чужую личность таким способом не получится. Прием нацелен на то, чтобы система не смогла распознать лицо известного ей человека, а не принять его за другого.

Ввести в заблуждение системы распознавания лиц удалось на объектах транспортной безопасности. Исследователи американской ИИ-компании Kneron обманули системы распознавания лиц на пограничных контрольно-пропускных пунктах в аэропорту, используя печатные 3D-маски с лицами других людей.

Сегодня таким способом можно обмануть только самые простые нейронные системы. Более совершенные системы работают не только со статичной картинкой, а с видеорядом. Для того, чтобы убедиться в реальности человека перед камерой, они могут проверять пульс по изменениям в цвете лица или микродвижениям незаметным для невооруженного глаза.

Кроме удобства сокращения времени на оплату проезда пассажиры метрополитена могут столкнуться и с некоторыми проблемами в использовании Face Pay. Есть вероятность того, что большое количество людей в часы-пик спровоцирует мошенничество при оплате и, вовремя убрав голову из кадра, первый пассажир сможет преодолеть препятствие за счет сзади стоящего лица.

Низкое качество покрытия сотовой связи в метро с малой вероятностью повлияет на работу системы FacePay, но вовремя недоставленные Push и SMS уведомлениях о списании средств могут создать определенные неудобства в отслеживании оплаты.

Подключение биометрических систем в метро открывает дискуссию о защите персональных данных. Станет ли Face Pay в связке с ЕБС первым шагом на пути к массовому использованию и обязательному предоставлению биометрических данных для получения отдельных услуг?

В связи с изменениями, внесенными Федеральным законом от 29.12.2020 №479-ФЗ в отдельные законодательные акты РФ, биометрическая система в совокупности с Единой системой идентификации и аутентификации (ЕСИА) могут использоваться для удостоверения личности при получении государственных и муниципальных услуг. Если такая система станет обязательной, возможно, в будущем она заменит паспорт гражданина РФ.

При передаче персональных данных, риск, что эти данные могут заполучить третьи лица присутствует всегда. В случае несанкционированного доступа паспорт или пароль можно заменить, а лицо, отпечатки пальцев и рисунок радужной оболочки глаза – нет.

Согласно ч. 2 ст. 11 Федеральному закону от 27.07.2006 N 152-ФЗ (ред. от 02.07.2021) "О персональных данных", в отдельных случаях обработка биометрических персональных данных может осуществляться даже без согласия субъекта.