Скандал недели: Midjourney приостановила генерацию изображений в trial-подписке. Причина — слишком много дипфейков

Суть новости: Midjourney приостановил бесплатное использование сервиса для людей, не оплативших подписку. Причина — скандальные дипфейки, созданные с помощью нейросети, которые прокатились по соцсетям. Генеральный директор компании Дэвид Хольц сообщил в Discord , что приняла такое решение из-за «чрезвычайного спроса и злоупотреблений пользователей пробных версий». По словам Хольца, меры безопасности оказались «недостаточными» для предотвращения неэтичного использования сервиса во время пробных периодов.

Текст и все иллюстрации подготовлены создателем телеграм-канала "Нейронутые". На канале — самые крутые генерации, лайфхаки и уроки по Midjourney, новости мира нейросетей и много чего еще.

Этот дипфейк я сделал, чтобы вы увидели, как все опасно. Обама в Белом Доме. Мы не делаем генерации политиков, сцен насилия или иллюстрации политических событий. Все изображения в этом материале созданы, чтобы показать суть проблемы.<br />
Этот дипфейк я сделал, чтобы вы увидели, как все опасно. Обама в Белом Доме. Мы не делаем генерации политиков, сцен насилия или иллюстрации политических событий. Все изображения в этом материале созданы, чтобы показать суть проблемы.

Решение проблемы: подписаться. Минимальный порог входа — $10 долларов в месяц. На этом тарифе вы сможете создать 250 изображений. Тариф в $30 позволит генерировать неограниченное число изображений. Тариф в $50 дает возможность работать в «невидимом» режиме: ни один из пользователей не сможет увидеть ваши промты (текстовые запросы).

The Washington Post пишет, что в последние недели Midjourney оказалась в центре нежелательного внимания. Пользователи полагались на искусственный интеллект для создания дипфейков ареста Дональда Трампа и Папы Франциска. Волна дипфейков, в центре которых Папа Римский — прокатилась серией скандалов в сети.

Папа Франциск — не богоугодное поведение. Дипфейк, который я сделал, чтобы проиллюстрировать новость.<br />
Папа Франциск — не богоугодное поведение. Дипфейк, который я сделал, чтобы проиллюстрировать новость.
Папа Франциск — рэпер. Ну и как тебе такое, Илон Маск?<br />
Папа Франциск — рэпер. Ну и как тебе такое, Илон Маск?
Владимир Путин делает фото с новым русским андроидом. Дипфек. Я сделал его, чтобы проиллюстрировать проблему.<br />
Владимир Путин делает фото с новым русским андроидом. Дипфек. Я сделал его, чтобы проиллюстрировать проблему.

Да, все же идентифицировали как фальшивки. Но есть опасения, что злоумышленники могут использовать Midjourney, OpenAI DALL-E и аналогичные генераторы для распространения дезинформации. Иными словами — для генерации fake news.

Еще один дипфейк — Эммануэль Макрон делает селфи на фоне горящего Парижа.<br />
Еще один дипфейк — Эммануэль Макрон делает селфи на фоне горящего Парижа.

Проблема стала еще более актуальной после представления Midjourney версии 5. Изображения стали еще более реалистичными — и теперь действительно отличить фейки от реальных фотографий известных политиков стало гораздо сложнее.

Основатели Midjourney уже признали наличие проблемы с политикой в отношении производимого контента. В 2022 году Дэвид Хольц ввел запрет на изображения китайского лидера Си Цзиньпина, заявив пользователям Discord, что команда хочет «минимизировать драму».

В беседе с пользователями в минувшую среду (29 марта 2023 года) Хольц сказал, что у него возникли трудности с политикой производства контента, поскольку ИИ с представлением пятой версии Midjourney «создает еще более реалистичные изображени»я. В ближайшее время Midjourney надеется улучшить модерацию, которая выявляет злоупотребления.

Некоторые других разработчики уже прибегли к строгим правилам, чтобы предотвратить подобные инциденты. Так, OpenAI (разработчик DALLE-2), блокирует любые запросы, призванные изобразить текущие политические события, теории заговора и самих политиков. Сервис также запрещает изображать ненависть, сексуальность и насилие.

У других сервисов все еще свободные правила. Так Stability AI (разработчик Stable Diffusion) не позовляет пользователям копировать стили или делать небезопасные для изображения , но в целом не диктует, что именно люди могут или не могут делать.

Резюмируем: вводящий в заблуждение контент — не единственная проблема для создания изображений с помощью ИИ. Не утихают споры по поводу авторских прав. До сих пор нет четкого определения — кто автор генераций: человек, который придумал интересный промт, или нейросеть, реализовавшая запрос. В то время как одни компании используют работы ИИ в своих маркетинговых, другие фирмы опасаются, что они привлекут нежелательное внимание.

А что думаете вы? Мы уже открыли ящик пандоры и все черти выскочили наружу? Или это безумие еще можно остановить?

Текст подготовлен создателем телеграм-канала "Нейронутые". На канале — самые крутые генерации, лайфхаки и уроки по Midjourney, новости мира нейросетей и много чего еще.

22
3 комментария

Ох, как же жалко Midjourney, что их сервис использовали для создания неэтичных дипфейков! Надо срочно вводить оплату, чтобы все эти этичные дипфейки создавали только платящие клиенты!

Ответить

Да, это был ловкий ход с их стороны.

На самом же деле они усиливают модерацию и все поатные аккаунты под присмотром большого брата.

И альтернативная версия: ребята просто запиарились на хайпе и теперь те, кто ничего не слышал об mj, хотят туда:)

Ответить

мне кажется, дело не в дипфэйках, а в тысячах хитрозадых русских, китайцев и индусов, которые плодят бесконечные аккаунты, чтобы не платить за подписку.

Ответить