«Проблемы Face ID связаны с недостатком обучающих данных»

Александр Ханин, основатель компании VisionLabs, рассказывает, как Apple может решить проблемы с распознаванием лиц и почему Face ID — надежная технология.

Проблемы с Face ID начались во время презентации, когда iPhone не разблокировался с первого раза, и пришлось ввести пароль. Когда устройство поступило в продажу, технологию принялись тестировать журналисты, но с основной проблемой столкнулись близнецы и близкие родственники — им удавалось разблокировать смартфоны друг друга из-за схожести. Apple эту проблему не отрицает.

Также резонанс вызвала история о разблокировке с помощью 3D-маски лица, стоимость которой — $150.

В индустрии компьютерного зрения и машинного обучения всё решается качеством данных, на которых тренируются классификаторы. В этом случае — распознавание лица. Если на определённой категории данных, например, когда дети смогли разблокировать телефон родителей и наоборот, возникают проблемы, то их можно учесть в обучающей выборке и дообучить модель.

Проблемы с близнецами Apple действительно признаёт и пока не рекомендует пользоваться технологией без пароля. Но такая проблема знакома многим вендорам решений по распознаванию лиц. На практике при наличии большого количества примеров пар близнецов в обучающей выборке эту проблему можно минимизировать.

Взрослые близнецы в большинстве случаев имеют видимые отличия: в реальной жизни они болеют разными болезнями и находятся не в 100% идентичной среде. Детям до 13 лет Apple тоже не советует использовать iPhone X, объясняя тем, что черты лица не до конца сформировались.

Чтобы понять масштаб бедствия с обходом блокировки, нужно протестировать технологию на большом количестве людей. Сейчас каждый отдельный зарегистрированный случай получает большое освещение в СМИ, но пока неизвестен ни полный перечень проблем, ни их истинный масштаб.

Если в результате проверки на миллионах пользователей процент ложного распознавания окажется выше допустимого значения, предусмотренного производителем (False Positive Rate не более десяти в минус шестой степени), тогда это превратится в реальную проблему.

Тогда технологию Face ID будут улучшать за счёт разбора репрезентативной выборки проблемных кейсов, когда смартфон разблокировал не владелец, либо когда смартфон не может разблокировать владелец.

Когда мы делали первые версии VisionLabs LUNA, у нас тоже была похожая проблема с родственниками. Степень сходства между родными очень высока. Например, отец и сын, дочь и мать часто действительно очень похожи друг на друга, но просто разного возраста.

У Apple сейчас такие же «детские болезни», потому что продукт новый и только проходит массовую адаптацию, но в дальнейшем они этот момент учтут и обучат нейросеть лучше распознавать родственников, близнецов и другие сложные категории.

9 ноября вьетнамская компания Bkav, которая занимается кибербезопасностью, написала в блоге, что Face ID можно обмануть с помощью маски. Apple во время презентации заявила, что компания специально сотрудничала с производителями масок, чтобы научить технологию отличать настоящее лицо от неживого.

Но если напечатать в цвете 3D-копию лица, что на самом деле легко сделать, и выбрать матовое покрытие, которое не будет отражать излучение ИК-сенсора, то смартфон можно обмануть.

Вьетнамские специалисты создали модель лица с помощью специального сканера и распечатали полученную маску на 3D-принтере. Поверх неё наложили реалистичный силиконовый нос, а на месте губ и глаз наклеили распечатанные фотографии этих частей тела владельца устройства. Себестоимость маски составила $150.

Очевидно, что такую возможность обхода Apple не рассмотрела. Apple обучала технологию на реальных людях и их масках, которые сделали голливудские художники. Но она не рассмотрела вариант создания «получеловеческой» маски, как это сделали вьетнамские исследовали. Apple может учесть это в следующих обновлениях iOS.

С точки зрения железа, то есть встроенной в смартфон камеры и датчиков, распознавание может иметь ещё больший запас надежности. Компании не нужно выпускать новый iPhone или менять встроенную камеру, чтобы технология работала лучше в этих категориях риска — достаточно обновить программное обеспечение.

Некоторые задавались вопросом — почему Face ID разблокировал устройство, если маска была белого цвета? Технология распознает лица, используя как информацию о форме, так и о текстуре лица, и уже на основе этих комплексированных данных принимает решения.

Камера True Depth работает в видимом RGB и в инфракрасном спектре. То есть учитывается комплекс параметров 3D формы, текстуры и цвета лица. Поэтому в ряде случаев принимается решение о разблокировке при срабатывании хотя бы части условий. Например, это помогает быстро разблокировать устройство в полной темноте.

В 2013 году Apple купила израильскую компанию PrimeSense, которая разрабатывает аппаратные средства для 3D-зонирования. Технологии PrimeSense наверняка стали аппаратной основой камеры True Depth и использовались при разработке Face ID и других функций смартфона.

Компания также известна благодаря внедрению своих сенсоров в ASUS xTion и Microsoft Kinect, который использует RGB-камеру и сенсор глубины для захвата движений игроков и включения их в игровой процесс Xbox.

PrimeSense разрабатывал камеры, которые включают обычную цветную камеру и ИК-сенсор глубины со структурированной ИК-подсветкой. Камера устроена таким образом, что может работать в полной темноте, когда цветов не видно. Поэтому Apple реализует распознавание в двух спектрах: видимом с учётом значений интенсивности пикселей, и по 3D-картинке — маске, полученной из этих ИК-точек.

Технология получает в темноте карту глубины, объём лица и его детали. Поэтому неудивительно, что даже не цветную маску можно использовать для обмана. Если совпала 3D-копия лица — маска — и эталон, загруженный в устройство, то нет поводов его не разблокировать.

Есть мнение, что настраивать Face ID нужно в тёмном помещении, но это не совсем так. Если настраивать устройство в полной темноте, то потенциально может быть не учтен ряд параметров лица в видимом спектре. За время тестирования устройства мы поняли, что технология работает в большинстве случаев быстро и качественно. Мы ещё не видели таких аналогов, по крайней мере, среди смартфонов. Когда Apple соберет достаточно статистики, то исправит это в следующих обновлениях прошивки.

Apple использует сложную комбинацию яркости и длины волн в ИК-подсветке, что минимизирует негативное влияние яркого солнечного света на качество построения 3D-сетки лица. Раньше у Kinect-подобных устройств возникали проблемы, если выйти на улицу с ярким солнечным светом: полученная там карта глубины была с серьёзными повреждениями.

Но Айфон хорошо работает даже при ярком освещении — мы специально протестировали его в различных стрессовых условиях. Значит, эту старую проблему Apple, если не полностью решил, то свёл к минимуму.

Если посмотреть видеоролики про API для Face ID, то видно, что модель лица, которую можно вытащить из устройства, достаточно точная как в темноте, так и при ярком цвете. Судя по этому, камера близка к совершенству. Это значит, что все возникающие проблемы — в софте, но его можно научить.

Несмотря на возможность обойти блокировку, распознавание лица и другие биометрические системы считаются самыми безопасными методами защиты данных. Потому что пин-код или пароль можно подсмотреть, а скопировать палец для разблокировки Touch ID уже сложнее. В свою очередь, взломать систему распознавания лица гораздо тяжелее, чем Touch ID.

Производители пользовательских устройств и enterprise-решений массово переходят на биометрию как минимум из-за повышающихся требований безопасности и банальной человеческой лени. А лень — двигатель прогресса. Никто не хочет запоминать пароли, а во многих компаниях по политике безопасности пароли нужно менять минимум раз в три месяца. Поэтому люди хотят самый простой способ авторизации, как, например, входить в систему с помощью пальца или лица.

При этом у технологии распознавания лица есть свои преимущества перед сканером отпечатка пальца. Например, разблокировать iPhone с помощью лица можно при любой погоде, а из-за влажных пальцев или небольшой деформации кожи могут возникнуть проблемы с разблокировкой, придётся вводить пароль. Холодные руки на морозе тоже не дают разблокировать смартфон, при этом получить доступ к своему смартфону можно даже с помощью части лица.

Мы в VisionLabs совместно с партнёрами проводили пилотные проекты с разными типами биометрии среди людей, которые работают в шахте, строят дома и улицы. У многих из них из-за механической работы стираются папиллярные узоры на подушечках пальцев. И поэтому такие пальцы невозможно распознать. Вряд ли в мире есть настолько же тяжелая работа, чтобы стёрлось лицо.

Все проблемы Apple ожидаемо будут решены с помощью уточнения обучающей выборки и с помощью машинного обучения. Поэтому чем больше людей воспользуется технологией, тем быстрее она научится различать близнецов и родителей с детьми.

Использование технологии распознавания лица гарантирует безопасность данных. Более того, за четыре года после покупки PrimeSense Apple улучшила камеры, которые распознают лицо. Поэтому со стороны железа значительных проблем точно нет.

#apple #iphone