Узнаю тебя из тысячи: новый алгоритм способен распознать дипфейк по отражению в глазах

Интернет наполнен самыми причудливыми фотографиями и видео знаменитостей. Но не все правда, что мы видим. В сети — много дипфейков. Как отличить дипфейковое изображение от настоящего? Рассказываем о новом методе от американских ученых в материале Selectel.

Ученые из Университета штата Нью-Йорк в Буффало предложили надежный способ, позволяющий отличить дипфейковое изображение от настоящего. В основе решения — отражение в глазах человека. Как ни странно, но искусственно сгенерированное сетью GAN-изображение имеет отличия в бликах и отражении в глазах.

За последние годы технологии изменения лица на фотографиях получила новые виток разивтия. Отличить настоящее фото от скомпилированного стало почти невозможно. Выявить подделки не могут даже алгоритмы. И неудивительно, вся эта сфера развивается по спирали с догоняющим эффектом. Что это значит? Пока одна сторона создает новые технологии подмены лица, другая — работает над программами обнаружения этих фейков. Процесс так и не заканчивается, а постоянные усовершенствования приводят к спиральной динамике во всех сферах, связанных с созданием/обнаружением дипфейков.

Так что там с отражениями? Глаза человека находятся ближе между собой, чем источник света. Когда мы берем реальную фотографию, то ее отражения в нашем правом и левом глазах одинаковые. Они могут иметь отличия, но незначительные. Так вот, в алгоритмах для подмены изображений отсутствуют «физические ограничения, описывающие поведение отражений». Как итог, создаваемые сетью лица имеют отличные между собой отражения и блики.

Для правильной работы алгоритма необходимо соблюдение следующих условий:

• Оба глаза смотрят в камеру. Линия, соединяющая глаза, параллельна камере.
• Глаза отдалены от источника света или отражения.
• Источники света или отражатели видимы обоими глазами.

Затем запускается алгоритм. И работает он по следующей схеме:

• Алгоритм находит на фотографии лицо.
• Обозначает контур лица и размечает реперные точки: кончики глаз, рот, нос, брови.
• На основании ключевых точек вырезает область глаз, ограниченную радужной оболочкой.
• Затем включается механизм бинаризации. Если яркость пикселей выше пороговых значений, то они отмечаются черным цветом, остальные оставляют белыми.
• Получают два изображения: в правом и левом глазах.
• С помощью коэффициента Жаккара сравнивают их идентичность.

Для оценки эффективности и работоспособности алгоритма ученые использовали две выборки:

• реальные лица из Flickr-Faces-HQ;
• искусственно созданные нейросетью StyleGAN2 лица с ресурса This Person Does Not Exist.

Собрав необходимые данные, они построили график. Также добавили для анализа ROC-кривую.

На графике видно, что идентифицировать лица, реальные или сгенерированные, удалось с точностью 94%. Результат впечатляющий.

Но есть и минус. Алгоритм отлично работает с портретным изображением и ярким светом. То есть практически в идеальных условиях. Помимо этого, алгоритм сравнивает не форму изображение в целом, а разбивает фотографии на пиксели.

Авторство технологии дипфейка, появившейся в 2014 году, приписывают студенту Стэнфорда Яну Гудфеллоу. Ее долго использовали среди разработчиков в научных целях. Но уже через три года один из пользователей Reddit заменил с помощью технологии лица знаменитостей в порнофильмах. И понеслось.

Два самых распространенных варианта применения ложных изображений — это троллинг знаменитостей и политические манипуляции.

Палата представителей конгресса США увидела реальную угрозу в существовании технологии. И считает, что дипфейки представляют угрозу национальной безопасности. В Калифорнии в итоге запретили на законодательном уровне распространение дипфейков с кандидатами во время выборных кампаний.

Подписывайтесь на блог Selectel, будем вместе следить за развитием мира технологий и IT.

#Selectel #искусственныйинтеллект #machinelearning