Эксперимент Runway показал, что большинство людей не различает реальные видео и ролики, сгенерированные ИИ
Компания Runway опубликовала результаты эксперимента, которые показывают: обычный зритель больше не способен отличить реальное видео от сгенерированного ИИ. В тесте с участием 1 043 человек более 90% участников не смогли определить происхождение коротких видеороликов, созданных моделью Gen-4.5. Средняя точность ответов оказалась лишь немного выше случайного угадывания.
Условия исследования были максимально простыми. Каждый участник посмотрел 20 клипов длительностью пять секунд — 10 настоящих и 10 сгенерированных, в случайном порядке. Видео не дорабатывались и не пересоздавались для повышения качества. Из всей выборки только 99 человек смогли правильно определить не менее 15 роликов, что считается статистически значимым результатом. Для остальных различие между реальным и синтетическим видео оказалось практически неуловимым.
При этом участники одинаково часто принимали реальное видео за ИИ и ИИ-видео за реальное. Это означает, что зрители не используют никаких устойчивых визуальных признаков, а их решения не опирались на распознаваемые паттерны. Фактически выбор делался наугад.
При этом выявилась заметная разница между типами сцен. Видео с людьми — лица, движения, действия — распознавались немного лучше среднего уровня. Зато сцены с природой, архитектурой и животными показали обратный эффект: сгенерированные ролики в этих категориях чаще принимались за настоящие, чем реальные. Для таких сюжетов модель уже умеет воспроизводить визуальную структуру мира на уровне, который выглядит для человека «естественным».
С практической точки зрения это меняет статус видео как источника информации. Даже грубые ИИ-ролики уже используются для введения людей в заблуждение, а модели уровня Gen-4.5 делают эту проблему масштабной и трудно отслеживаемой. В условиях, когда зритель не способен отличить подлинную съёмку от генерации, индивидуальное восприятие перестаёт выполнять роль фильтра.
Результаты эксперимента Runway показывают не будущую угрозу, а уже сложившуюся ситуацию. Качество генерации видео вышло на уровень, при котором человеческое восприятие перестаёт быть инструментом проверки. Это означает, что сам факт наличия видеозаписи больше не является доказательством, и при просмотре видео в соцсетях пользователи должны напоминать себе об этом.