Как оцениваются картины, написанные ИИ и человеком?
Подписывайтесь на мой канал: продуктовые штуки
Думаете, что можете с легкостью отличить человеческое произведение от созданного искусственным интеллектом (ИИ)? Не торопитесь отвечать. Что насчет авторства этих картин?
Стоит оговориться, что это нестрого научные исследования, о которых я обычно рассказываю и которые построены на строгих методологических принципах научного отбора выборки и анализа результатов. Несмотря на это, я решилась поделиться этим проектом, потому что его выводы мало отличаются от выводов серьезных научных работ (один, второй и третий примеры).
Как формировалось выборка?
Первоначально планировалось сравнить 5 человеческих и 5 ИИ-картин в четырех стилях:
- ренессанс,
- произведения 19 века,
- абстракционизм/модерн
- диджитал арт.
Получив множество заявок от ИИ-художников, автор исследования «немного схитрил», как он сам выражается, и выбрал для тестирования целых 50 картин вместо 5.
Окончательный набор для оценки включал картины Доменикино, Гогена, Баскии и других, а также множество цифровых художников и любителей ИИ.
Автор постарался сделать тест максимально объективным, включив в него только лучшие работы из каждой категории. С «человеческой» стороны это означало включение престижных работ, которые выдержали испытание временем. Со стороны ИИ — исключение работ, которые имели явные признаки ИИ: искаженный текст, деформированные руки или какие-то подобные уродства.
Аналогично, выбирались человеческие работы с минимальным количеством «подсказок», которые бы раскрывали их человечность. Так, автор проект воздерживался от того, чтобы на картинах был:
- текст (это было бы явным признаком того, что изображение было человеческим),
- сложные позы (ИИ в большинстве случаев не может этого делать) и поп-арта (плохо соответствует способностям ИИ).
Вероятно, это делает тест нерепрезентативным в строго научном смысле (хотя как посмотреть!), т.к. некоторые виды искусства действительно имеют определенные «подсказки».
Наконец, избегались произведения ИИ в «фирменном стиле» DALL-E, поскольку все и так знают, что это ИИ, или в других похожих стилях, которые людям сложно воспроизвести.
Вывод 1. Людям трудно распознать ИИ искусство
Поскольку было два варианта, то случайное распределение доло бы оценку 50%, а идеальное мастерство — 100%. Средний балл по тесту составил 60%, лишь немного выше случайного.
Участники признались, что задание оказалось сложнее, чем ожидалось (медианная сложность 4 по шкале от 1 до 5).
Большинство людей судит об авторстве по стилю картины
Участников теста предупредили, что тест включал произведения в самых разных стилях, и не следует судить о произведении как о человеческом только потому, что оно похоже на картину маслом, или судить о нем как об ИИ искусстве только на том основании, что оно похоже на цифровое изображение.
Респонденты не прислушались к совету. Показатель «человеческой предвзятости» указывает на то, какой процент произведений искусства в каждой категории верно идентифицировался как человеческий. Наименее точны были оценки в отношении импрессионизма (digital AI): пользователи идентифицировали каждую картину как человеческую, за исключением единственной действительно человеческой работы импрессионистов — «Вход в деревню Осни» Поля Гогена.
Подавляющее большинство участников тестирования посчитало несколько созданных человеком картин как созданные искусственным интеллектом:
2. Большинство людей предпочли ИИ искусство созданному людьми
Автор проекта попросил участников выбрать любимую картинку из пятидесяти.
Две самые понравившиеся картинки были созданы ИИ, как и 60% из первой десятки.
Может ли это быть признаком плохо от отобранных для тестирования картин? Большинство самых любимых ИИ изображений оказались импрессионистскими. Случайно эта категория несколько преобладала в тестовом наборе данных, или это отражало любовь автора к картинам импрессионистов (или особую склонность ИИ в этой области) — трудно судить. И если убрать все картины импрессионистов, то ИИ все еще будет на третьем месте, а машины все еще получат 40% новой десятки.
Участников спросили об их отношении к ИИ исскусству. Мнения разделились: 33% высказались отрицательно, 24% нейтрально и 43% положительно. 1278 человек, которые заявили, что они ненавидят искусство ИИ (оценка 1 по шкале Лайкерта от 1 до 5), и все равно предпочитали ИИ картины при слепом тестировании.
Даже люди, которые сообщили, что ненавидят ИИ-искусство, предпочли его в ходе тестирования.
Эти люди не обязательно заблуждаются; они могут иметь в виду, что им надоело продираться через тонны плохого однотипного ИИ-арта. А этот набор данных вручную отобранных ИИ-произведений не вписывается в их представление.
Автор попросила подругу, которая занимается цифровым искусством, провести бета-тестирование ранней версии произведения. Она поразила своей способностью правильно определять изображения ИИ. Когда они добрались до разрушенных ворот Петра Биньковски — изображения ИИ, которое автору исследования особенно понравилось, но которое она нашла особенно небрежным, — автор опроекта потребовал объяснений.
Когда настоящие произведения содержат детали, в них есть логика. Я думаю, что Ancient Gate относится к жанру «поверхностно детализированные, но все детали плохие и бессвязные». Красная и синяя краска и пустой камень кажутся такими, будто они должны вызывать ощущение изношенности, но неясно, какой стиль должен быть изношенной версией. Возникает ощущение, что если бы вся краска была на месте, то это выглядело бы как куча грузовых контейнеров, если бы грузовые контейнеры были сделаны только в двух цветах»...
Я думаю, что часть проблемы с ИИ-искусством заключается в том, что оно производит вещи, которые нехудожники считают хорошими, но которые при ближайшем рассмотрении выглядят ужасно. Представьте, если бы у всех была возможность создавать в основном адекватные питательные блюда за пять центов, но все они были бы посредственным регидратированным порошком со слишком большим количеством сукралозы или искусственного виноградного ароматизатора или чего-то в этом роде.
Что мы узнали об искусстве?
Алан Тьюринг говорил, что если 30% людей не могут отличить ИИ от человека, то можно считать, что ИИ прошел тест Тьюринга.
По этим стандартам художники проходят тест с запасом. Что это говорит нам об ИИ? Похоже, они хороши в искусстве. Люди продолжают настаивать на том, что ИИ искусство — это отвратительная дрянь. Но если вы снимаете этикетки, многие не могут отличить ИИ искусство от произведений величайших художников.
Удивительно, как ИИ становится настолько хорош в создании картин, что порой трудно отличить их от произведений, созданных человеком. Но не стоит забывать, что он учится на работах людей и использует их опыт)
Я думаю, что это говорит о том, что ИИ - это мощный инструмент, который может создавать что-то действительно новое и интересное. Но в то же время, он пока не может полностью заменить человеческое творчество.
Многое зависит от правильного составление промптов и поставленных задач нейронки.