Как искусственный интеллект влияет на результаты творчества? Исследование в Science

Появление генеративного ИИ бросает вызов представлениям об уникальности человеческого творчества. Но мало что известно о влиянии генеративного ИИ на наше творчество. Результаты исследования полезны, любопытны и неоднозначны.

Если выводы верны, то перед нами встает социальная дилемма: благодаря генеративному ИИ писатели по отдельности получают больше пользы, но коллективно создается более бедный и однообразный контент.

Работа сосредоточивает особое внимание на роли генеративного ИИ в воздействии на творческий результат через художественные микро произведения.

Креативность обычно оценивается по двум измерениям:

Есть как минимум два варианта, как генеративный ИИ может повлиять на творческое письмо в этом контексте.

С одной стороны, генеративный ИИ может улучшить качество результата: созданные ИИ идеи могут использоваться в качестве «трамплина» для человека.

И наоборот, генеративный ИИ может помешать. Привязывая писателя к конкретной идее, может с самого начала ограничить разнообразие собственных идей писателя. Более того, результаты генеративного ИИ могут не обеспечивать благодатную почву для новых творческих идей. Если это так, то использование ИИ приведет к созданию большего количества похожих историй и потенциально менее творческих произведений писателей-людей.

Цель работы - дать ответ на эти вопросы посредством двухэтапного рандомизированного исследования творческих результатов (см. схему эксперимента на рисунке), выполненного по всему стандартам науки и опубликованого недавно в журнале Science.

На первом этапе исследования отобрали группу из 293 участников («писателей»), которых попросили написать короткий рассказ из восьми предложений, «подходящий для подростковой и молодой взрослой аудитории», не ограничивая в теме: «Вы можете писать о чем угодно».

Участников случайным образом распределяли по трем группам:

В качестве инструмента генИИ использовался GPT-4 от OpenAI’.

После завершения рассказа авторам было предложено самостоятельно оценить свой рассказ на предмет новизны, полезности и эмоциональным характеристикам.

На втором этапе составленные авторами рассказы оценивались отдельной группой из 600 участников оценщиков. Оценщики читали шесть случайно выбранных историй, не будучи информированы о том, был ли авторам предоставлен доступ к генеративному ИИ или нет.

Все истории были оценены экспертами по новизне, полезности и эмоциональным характеристикам. Были также дополнительные вопросы, не связанные напрямую с основным вопросом нашего исследования. В частности, оценщиков попросили оценить, в какой степени собственность и гипотетическая прибыль должны быть разделены между автором и ИИ. Также выясняли мнение оценщиков о том, насколько использование ИИ в создании творческой продукции этично, и следует ли отдавать должное ИИ в результатах творческой деятельности.

Во-первых, оценили, отличаются ли базовые оценки произведений «только человек» от произведений, созданных с помощью генИИ.

У писателей из группы "человек с одной идеей ГенИИ” наблюдается увеличение показателя новизны на 5,4% по сравнению с писателями без доступа к генеративному ИИ, тогда как у писателей в группе “человеке с пятью идеями ГенИИ” показывают увеличение новизны на 8,1% по сравнению с авторами без доступа к генеративному ИИ.

Полезность рассказов писателей, имеющих доступ к одной идее генеративного ИИ, на 3,7% выше, чем у писателей, не имеющих доступа к генеративному ИИ. Доступ к пяти идеям ИИ увеличивает полезность на 9,0% по сравнению с теми, у кого нет доступа к генеративному ИИ, и на 5,1% по сравнению с автором с доступом к одной идее ГенИИ.

По сравнению с историями, написанными только людьми, истории авторов с доступом к пяти генеративным идеям ИИ, оценивались как написанные лучше и оказывали большее влияние на ожидания оценщика в отношении будущих историй (рис В).

Писателей просили выполнить задание на дивергентные ассоциации (DAT) перед написанием своих рассказов. Задача состояла в том, чтобы подобрать 10 максимально отличающихся друг от друга слов.

Во-первых, исследователи посмотрели, обращаются ли разные писатели к генеративному ИИ больше, чем другие. Различий не наблюдались.

Доступ к генеративному ИИ не влияет на и без того хорошие результаты авторов с высоким DAT (оценки того, насколько хорошо был написан рассказ, насколько он приятен или скучен).

Среди писателей с низким уровнем DAT доступ к одной идее генеративного ИИ повышает новизну истории на 6,3%, а доступ к пяти идеям генеративного ИИ дает улучшение на 10,7%.

Имеющие доступ к одной и пяти идеям генеративного ИИ писатели создают истории, полезность которых оценивается выше на 5,5 и 11,5% соответственно.

Подобные улучшения существуют и для характеристик истории. Для писателей с низким DAT в состоянии «человек с пятью идеями GenAI» оценки того, насколько хорошо написана история, увеличиваются на 26,6%, удовольствие от истории - на 22,6%, а скучность истории снижается на 15,2%.

Эти улучшения в творчестве рассказов писателей с низким DAT ставят их в один ряд с писателями с высоким DAT. Короче говоря, состояние «человек с пятью идеями ГенИИ» эффективно равен по показателям креативности писателю с высоким DAT.

До сих пор мы ориентировались на субъективную оценку оценщиков; теперь мы обратимся к более объективному измерению содержания историй, чтобы понять, как генеративный ИИ влияет на конечные созданные истории.

Авторы исследования оценили также сходство отдельно взятой истории со всеми остальными историями в помощью математического аппарата.

Чтобы понять, почему вдохновленные генеративным ИИ истории выглядят более похожими друг на друга, следует взглянуть на взаимосвязь между идеями генеративного ИИ и создаваемыми историями. Так происходит потому, что писатели с помощью генеративного ИИ в некоторой степени привязаны к представленной им идее генеративного ИИ.

Есть три важных замечания по поводу результатов.

Во-первых, доступ к генеративному ИИ эффективно уравнивает оценки историй, устраняя любые недостатки или преимущества, основанные на присущем писателям творческом потенциале. Тот факт, что генеративный ИИ приносит в первую очередь пользу менее способным писателям, подтверждается недавними исследованиями в других областях, например тут.

Во-вторых, можно задаться вопросом, могут ли идеи генеративного ИИ сдвинуть верхнюю границу креативности. В данном исследовании нет доказательств такой возможности.

В-третьих, после того, как оценщики оценили истории, им сообщили, получал ли писатель идеи генеративного ИИ и что это были за идеи.

Большинство оценщиков также указали, что раскрытие информации об использовании ИИ или лежащего в его основе текста ИИ должно быть указано в публикации, в которых используются такие инструменты. Однако в целом большинство экспертов сочли использование ИИ при написании историй этичным и по-прежнему «творческим актом». Эти результаты указывают на поддержку использования генеративного ИИ в творческих целях с важными потенциальными ограничениями на право собственности.

Экспериментальный план исследования предполагал довольно строгие правила для измерения причинного воздействия генеративного ИИ на креативность. Так, не позволялось повторное взаимодействие с генеративным ИИ, поскольку это может повысить эффективность и масштабы воздействия генеративного ИИ на творчество.

#креативность #ииинструменты #производительность #иикреативность #продуктивность #результативность #способности #творчество #иитворчество #science #chatgpt