{"id":9280,"title":"\u0422\u0435\u043b\u0435\u043f\u043e\u0440\u0442\u0430\u0446\u0438\u044f \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0445 \u043a\u0430\u043c\u043f\u0430\u043d\u0438\u0439 \u0438\u0437 \u00ab\u042f\u043d\u0434\u0435\u043a\u0441\u0430\u00bb \u0432 Google","url":"\/redirect?component=advertising&id=9280&url=https:\/\/vc.ru\/promo\/321806-kak-ne-zamorachivatsya-s-reklamnoy-kampaniey-i-bystro-nastroit-ee-v-google-obyasnyaem-v-5-50-i-500-slovah&placeBit=1&hash=99a73b9041aba100376a41bce39d118cf714c283ce1c8288a963bcb51cdcdade","isPaidAndBannersEnabled":false}
Machine learning
Selectel

Узнаю тебя из тысячи: новый алгоритм способен распознать дипфейк по отражению в глазах

Интернет наполнен самыми причудливыми фотографиями и видео знаменитостей. Но не все правда, что мы видим. В сети — много дипфейков. Как отличить дипфейковое изображение от настоящего? Рассказываем о новом методе от американских ученых в материале Selectel.

Ученые из Университета штата Нью-Йорк в Буффало предложили надежный способ, позволяющий отличить дипфейковое изображение от настоящего. В основе решения — отражение в глазах человека. Как ни странно, но искусственно сгенерированное сетью GAN-изображение имеет отличия в бликах и отражении в глазах.

Лицо VS дипфейк

За последние годы технологии изменения лица на фотографиях получила новые виток разивтия. Отличить настоящее фото от скомпилированного стало почти невозможно. Выявить подделки не могут даже алгоритмы. И неудивительно, вся эта сфера развивается по спирали с догоняющим эффектом. Что это значит? Пока одна сторона создает новые технологии подмены лица, другая — работает над программами обнаружения этих фейков. Процесс так и не заканчивается, а постоянные усовершенствования приводят к спиральной динамике во всех сферах, связанных с созданием/обнаружением дипфейков.

Так что там с отражениями? Глаза человека находятся ближе между собой, чем источник света. Когда мы берем реальную фотографию, то ее отражения в нашем правом и левом глазах одинаковые. Они могут иметь отличия, но незначительные. Так вот, в алгоритмах для подмены изображений отсутствуют «физические ограничения, описывающие поведение отражений». Как итог, создаваемые сетью лица имеют отличные между собой отражения и блики.

Настоящее.

Selectel

Как работает новый алгоритм?

Для правильной работы алгоритма необходимо соблюдение следующих условий:

  • Оба глаза смотрят в камеру. Линия, соединяющая глаза, параллельна камере.
  • Глаза отдалены от источника света или отражения.
  • Источники света или отражатели видимы обоими глазами.
Изображения реальные (сверху) и фейковые (снизу)

Затем запускается алгоритм. И работает он по следующей схеме:

  • Алгоритм находит на фотографии лицо.
  • Обозначает контур лица и размечает реперные точки: кончики глаз, рот, нос, брови.
  • На основании ключевых точек вырезает область глаз, ограниченную радужной оболочкой.
  • Затем включается механизм бинаризации. Если яркость пикселей выше пороговых значений, то они отмечаются черным цветом, остальные оставляют белыми.
  • Получают два изображения: в правом и левом глазах.
  • С помощью коэффициента Жаккара сравнивают их идентичность.

Оценка результатов

Для оценки эффективности и работоспособности алгоритма ученые использовали две выборки:

  • реальные лица из Flickr-Faces-HQ;
  • искусственно созданные нейросетью StyleGAN2 лица с ресурса This Person Does Not Exist.
График сходства для сгенерированных сетью и реальных изображений

Собрав необходимые данные, они построили график. Также добавили для анализа ROC-кривую.

На графике видно, что идентифицировать лица, реальные или сгенерированные, удалось с точностью 94%. Результат впечатляющий.

Но есть и минус. Алгоритм отлично работает с портретным изображением и ярким светом. То есть практически в идеальных условиях. Помимо этого, алгоритм сравнивает не форму изображение в целом, а разбивает фотографии на пиксели.

Боли дипфейков

Авторство технологии дипфейка, появившейся в 2014 году, приписывают студенту Стэнфорда Яну Гудфеллоу. Ее долго использовали среди разработчиков в научных целях. Но уже через три года один из пользователей Reddit заменил с помощью технологии лица знаменитостей в порнофильмах. И понеслось.

Два самых распространенных варианта применения ложных изображений — это троллинг знаменитостей и политические манипуляции.

Палата представителей конгресса США увидела реальную угрозу в существовании технологии. И считает, что дипфейки представляют угрозу национальной безопасности. В Калифорнии в итоге запретили на законодательном уровне распространение дипфейков с кандидатами во время выборных кампаний.

Подписывайтесь на блог Selectel, будем вместе следить за развитием мира технологий и IT.

Что думаете о научной борьбе с дипфейками?
Ура, мы спасены, ученые нашли действенный метод.
Они существовали и будут существовать.
А что такое дипфейк?
Показать результаты
Переголосовать
Проголосовать
0
1 комментарий
Популярные
По порядку
Мутный корабль

На каждый метод распознавания дипфейка появятся два алгоритма для их обхода

Ответить
3
Развернуть ветку
Читать все 1 комментарий
Проект Федерации креативных индустрий Creative Russia Map получил Премию Рунета
Как управлять блогом компании

Этот документ пригодится тем компаниям, у которых уже есть блог на vc.ru.

Увлечение самолётами, которое переросло в бизнес

Предприниматель из Волгограда производит и продаёт по всему миру симуляторы дополненной реальности.

Как мы отказались от 20 млн рублей, потому что не хотели быть всего лишь исполнителями

В прошлом году мы отказались от крупного заказчика, который приносил 20 млн рублей — это почти четверть годовой выручки агентства, — но никак не хотел строить партнерские отношения. Решение было сложным, но анализ ситуации помог нам выработать свой подход к построению отношений с заказчиками. О нём и хотим рассказать.

Найти свою аудиторию на YouTube: алгоритм Influmtr определяет, что смотрят геймеры в Штатах или фанаты Tesla в Германии

Это удобный инструмент для планирования рекламных кампаний и коллабораций с тематическими блогерами на 10 мировых рынках.

«Яндекс» представил «Станцию» второго поколения с новым дизайном и улучшенным звуком Статьи редакции

Колонка поступит в продажу в первой половине 2022 года.

«Газпромбанк» взял семь номинаций на двух премиях

Редко удается получить сразу несколько наград, а ещё реже получается это сделать на двух премиях сразу. Тем не менее, у нас получилось: стали лауреатами Digital Leaders и «Время инноваций»!

Лидерские качества. 30 полезных материалов для их развития

Наверняка вы не раз слышали фразу: «Саша — прирожденный лидер». Но разве лидерство «дается» с рождения? Конечно, нет. Как и многие навыки и soft skills, лидерские качества можно в себе развить. В этой статье я расскажу, с чего начать путь к лидерству, а еще поделюсь полезными материалами.

Сайт Tor заблокировали в России после публикации обращения с призывом к пользователям поднять у себя серверы Статьи редакции

Команда сообщила о начале блокировки всей сети с 1 декабря.

null