{"id":9132,"title":"\u041f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u043d\u0430\u0434\u0441\u043a\u0438\u0435 \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u0438 \u043a\u0432\u0430\u0434\u0440\u043e\u0446\u0438\u043a\u043b\u043e\u0432 \u043f\u043e\u043a\u0443\u043f\u0430\u044e\u0442 \u0437\u0430\u043f\u0447\u0430\u0441\u0442\u0438 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438","url":"\/redirect?component=advertising&id=9132&url=https:\/\/vc.ru\/pochta\/325041-kak-kanadskie-lyubiteli-snegohodov-i-kvadrociklov-otkryli-dlya-sebya-rossiyu&placeBit=1&hash=cd54543b13c8a6083dd50d5669dab69e3e15e40792f9ed69859d5c8934b50d3d","isPaidAndBannersEnabled":false}
Machine learning
Selectel

Узнаю тебя из тысячи: новый алгоритм способен распознать дипфейк по отражению в глазах

Интернет наполнен самыми причудливыми фотографиями и видео знаменитостей. Но не все правда, что мы видим. В сети — много дипфейков. Как отличить дипфейковое изображение от настоящего? Рассказываем о новом методе от американских ученых в материале Selectel.

Ученые из Университета штата Нью-Йорк в Буффало предложили надежный способ, позволяющий отличить дипфейковое изображение от настоящего. В основе решения — отражение в глазах человека. Как ни странно, но искусственно сгенерированное сетью GAN-изображение имеет отличия в бликах и отражении в глазах.

Лицо VS дипфейк

За последние годы технологии изменения лица на фотографиях получила новые виток разивтия. Отличить настоящее фото от скомпилированного стало почти невозможно. Выявить подделки не могут даже алгоритмы. И неудивительно, вся эта сфера развивается по спирали с догоняющим эффектом. Что это значит? Пока одна сторона создает новые технологии подмены лица, другая — работает над программами обнаружения этих фейков. Процесс так и не заканчивается, а постоянные усовершенствования приводят к спиральной динамике во всех сферах, связанных с созданием/обнаружением дипфейков.

Так что там с отражениями? Глаза человека находятся ближе между собой, чем источник света. Когда мы берем реальную фотографию, то ее отражения в нашем правом и левом глазах одинаковые. Они могут иметь отличия, но незначительные. Так вот, в алгоритмах для подмены изображений отсутствуют «физические ограничения, описывающие поведение отражений». Как итог, создаваемые сетью лица имеют отличные между собой отражения и блики.

Настоящее.

Selectel

Как работает новый алгоритм?

Для правильной работы алгоритма необходимо соблюдение следующих условий:

  • Оба глаза смотрят в камеру. Линия, соединяющая глаза, параллельна камере.
  • Глаза отдалены от источника света или отражения.
  • Источники света или отражатели видимы обоими глазами.
Изображения реальные (сверху) и фейковые (снизу)

Затем запускается алгоритм. И работает он по следующей схеме:

  • Алгоритм находит на фотографии лицо.
  • Обозначает контур лица и размечает реперные точки: кончики глаз, рот, нос, брови.
  • На основании ключевых точек вырезает область глаз, ограниченную радужной оболочкой.
  • Затем включается механизм бинаризации. Если яркость пикселей выше пороговых значений, то они отмечаются черным цветом, остальные оставляют белыми.
  • Получают два изображения: в правом и левом глазах.
  • С помощью коэффициента Жаккара сравнивают их идентичность.

Оценка результатов

Для оценки эффективности и работоспособности алгоритма ученые использовали две выборки:

  • реальные лица из Flickr-Faces-HQ;
  • искусственно созданные нейросетью StyleGAN2 лица с ресурса This Person Does Not Exist.
График сходства для сгенерированных сетью и реальных изображений

Собрав необходимые данные, они построили график. Также добавили для анализа ROC-кривую.

На графике видно, что идентифицировать лица, реальные или сгенерированные, удалось с точностью 94%. Результат впечатляющий.

Но есть и минус. Алгоритм отлично работает с портретным изображением и ярким светом. То есть практически в идеальных условиях. Помимо этого, алгоритм сравнивает не форму изображение в целом, а разбивает фотографии на пиксели.

Боли дипфейков

Авторство технологии дипфейка, появившейся в 2014 году, приписывают студенту Стэнфорда Яну Гудфеллоу. Ее долго использовали среди разработчиков в научных целях. Но уже через три года один из пользователей Reddit заменил с помощью технологии лица знаменитостей в порнофильмах. И понеслось.

Два самых распространенных варианта применения ложных изображений — это троллинг знаменитостей и политические манипуляции.

Палата представителей конгресса США увидела реальную угрозу в существовании технологии. И считает, что дипфейки представляют угрозу национальной безопасности. В Калифорнии в итоге запретили на законодательном уровне распространение дипфейков с кандидатами во время выборных кампаний.

Подписывайтесь на блог Selectel, будем вместе следить за развитием мира технологий и IT.

Что думаете о научной борьбе с дипфейками?
Ура, мы спасены, ученые нашли действенный метод.
Они существовали и будут существовать.
А что такое дипфейк?
Показать результаты
Переголосовать
Проголосовать
0
1 комментарий
Популярные
По порядку
Мутный корабль

На каждый метод распознавания дипфейка появятся два алгоритма для их обхода

Ответить
3
Развернуть ветку
Читать все 1 комментарий
DiDi впервые показал в России электромобиль для водителей такси

Его представили 7 декабря на форуме «Открытые инновации» в Сколково

Лидерские качества. 30 полезных материалов для их развития

Наверняка вы не раз слышали фразу: «Саша — прирожденный лидер». Но разве лидерство «дается» с рождения? Конечно, нет. Как и многие навыки и soft skills, лидерские качества можно в себе развить. В этой статье я расскажу, с чего начать путь к лидерству, а еще поделюсь полезными материалами.

Отвечаем на самые частозадаваемые вопросы!
Сайт Tor заблокировали в России после публикации обращения с призывом к пользователям поднять у себя серверы Статьи редакции

Команда сообщила о начале блокировки всей сети с 1 декабря.

«Яндекс» представил «Станцию» второго поколения с новым дизайном и улучшенным звуком Статьи редакции

Колонка поступит в продажу в первой половине 2022 года.

Платежи для самозанятых
Метеоагент: приложение для метеозависимых людей

Расскажу сегодня о метеозависимости, которая мучает меня и множество людей по всему миру и которую мы решили взять под контроль, разработав приложение для метеозависимых людей Метеоагент.

«Газпромбанк» взял семь номинаций на двух премиях

Редко удается получить сразу несколько наград, а ещё реже получается это сделать на двух премиях сразу. Тем не менее, у нас получилось: стали лауреатами Digital Leaders и «Время инноваций»!

Увлечение самолётами, которое переросло в бизнес

Предприниматель из Волгограда производит и продаёт по всему миру симуляторы дополненной реальности.

null