Чем можно проверить фото и видео на дипфейки и другие изменения
Пять сервисов для поиска скрытых деталей и ошибок в изображениях, и технологии, которые пока в разработке.
Набор бесплатных инструментов для анализа изображений.
- «Лупа» позволяет увидеть скрытые детали на фото. Она увеличивает размер пикселей и контрастность.
- «Детектор клонов» выделяет цветом участки изображения, которые были скопированы.
- «Анализ уровня ошибок» сравнивает снимок с его сжатой версией. Помогает понять, какую часть изображения изменяли: она может быть темнее или ярче, чем аналогичная область, которой не манипулировали.
- И другие функции.
Сервис бесплатно определяет, были ли изменения в снимке. Если были, сообщает, в каком графическим редакторе их сделали. Сервис анализирует фото на уровне пикселей и их цветов.
В основу сервиса легли алгоритмы анализа: ELA — определение уровня ошибок, и Jpeg% — оценка уровня качества изображения после последнего сохранения.
Бесплатная программа с открытым исходным кодом ищет ошибки в изображениях и на их основе выявляет монтаж. Также сравнивает фото с их миниатюрами — если есть разница, сообщает, что снимок изменяли.
Также может извлекать из файлов текстовую информацию, например, URL-адреса. Если находит геотеги и связанную с ними информацию, показывает возможное место снимка на карте.
Сервис с открытым исходным кодом бесплатно анализирует видео на дипфейки. Также есть приложение Deepware, оно работает только на Android.
Корейское приложение KaiCatch распознаёт поддельные фото и видео с помощью ИИ — он определяет аномальные искажения лиц с точностью 90%.
Проверить фото или видео стоит около $1,7. Приложение работает только на Android и на корейском языке. В будущем разработчики обещают добавить поддержку английского, китайского и японского языков, а также перенести приложение на iOS.
Анонсированные разработки
Разработка Adobe
В 2019 году подразделение Adobe Research вместе с Калифорнийским университетом в Беркли создали функцию Photoshop Face Aware Liquify, в основу которой легла свёрточная нейросеть.
Её обучили на тысячах обработанных ИИ фотографиях из интернета. По оценке Adobe Research, определение фото- и видеомонтажа в экспериментах показал эффективность 99%, в то время как люди смогли распознать лишь 53% подделок.
К работе над проектом исследователи привлекли художника и попросили его вручную изменить некоторые из изображений. Так в обучение нейросети добавился «элемент человеческого творчества».
Опыты с программой показали, что она может не только выявлять подделки, но и возвращать изменённые снимки в их первоначальное состояние. Однако в открытый доступ разработка пока не вышла.
Это важный шаг в обнаружении определенных типов редактирования изображений. Функция отмены — восстановления оригинального вида — работает на удивление хорошо.
Помимо подобных технологий, лучшей защитой будет искушённая публика. Которая знает: контентом можно манипулировать, часто чтобы доставить им удовольствие, но иногда — чтобы ввести их в заблуждение.
Microsoft Video Authenticator
Её создали с помощью общедоступного набора изменённых фотографий и видео Face Forensic++ и дополнительно обучили на другом наборе — DeepFake Detection Challenge.
Когда компания выпустит технологию, неизвестно.
Разработка Facebook
В июне 2021 года исследователи Facebook создали ИИ, который может идентифицировать дипфейк-контент и отслеживать его происхождение. Над программой работали специалисты Мичиганского государственного университета.
«Наш метод облегчит поиск подделок, когда сама подделка — единственная информация, с которой приходится работать», — рассказали учёные-исследователи Facebook Си Инь и Тал Хасснер.
По словам Facebook, их программа ищет в фото и видео следы изменений в их цифровых «отпечатках». Распространять программу будут вне Facebook, чтобы облегчить расследования «инцидентов скоординированной дезинформации».
В открытый доступ разработка пока не вышла.
FakeBuster
FakeBuster помогает выявлять дипфейки во время онлайн-конференций и в соцсетях. Разработчики протестировали программу во время звонков в Zoom и Skype.
В основу FakeBuster легла 3D-свёрточная нейросеть, которую обучили на комбинации наборов данных, таких как Deeperforensics, DFDC, VoxCeleb, и неназванных видеороликов. В открытый доступ программа ещё не вышла.
Инициативы по борьбе с дипфейками
В сентябре 2020 года Microsoft предложила крупным медиакомпаниям поддержать инициативу Project Origin. Фирма предлагает маркировать онлайн-контент так, чтобы автоматически находить изменения в оригинальных фотографиях и видео.
Реализовать Project Origin специалисты предложили в два этапа:
- Сначала создать инструмент для загрузки цифровых «отпечатков» в виде сертификатов и значений «хэша» в метаданные медиаконтента.
- Создать считыватель, чтобы определять в нём сторонние изменения.
Microsoft рассказала, что проверку технологии по «маркировке» контента она планирует провести в сотрудничестве с BBC, The New York Times, Вашингтонским университетом и другими.
По оценке разработчиков, в будущем считыватели цифровых «отпечатков» станут доступны пользователям в виде расширений браузера. Они позволят в проверять подлинность информации и определить источник его происхождения.
Это 3D Camera Tracking в After Effects.
Да, действительно. Перепутали иллюстрацию, у разработки Facebook пока вообще официальных скриншотов нет. Поправим.
Норм. Любое действие порождает противодействие. Битва брони и снаряда. Запасаем попкорн и наслаждаемся махачем :)
Комментарий недоступен
Настал тот день, когда фотофорензика вышла в массы. Через пару лет выйдет в массы широкие, когда проблема дипфейков станет актуальнее.
Нихуя не работает для видео кроме Deepware. И то не понятно насколько достоверные данные. Автор статьи пробовал хотя бы на половине проверить видео фото или тупо копи паст?