Как искусственный интеллект влияет на результаты творчества? Исследование в Science
Вывод: использование ИИ усиливает индивидуальное творчество, но уменьшает групповое разнообразие контента
Появление генеративного ИИ бросает вызов представлениям об уникальности человеческого творчества. Но мало что известно о влиянии генеративного ИИ на наше творчество. Результаты исследования полезны, любопытны и неоднозначны.
Если выводы верны, то перед нами встает социальная дилемма: благодаря генеративному ИИ писатели по отдельности получают больше пользы, но коллективно создается более бедный и однообразный контент.
ВВЕДЕНИЕ
Работа сосредоточивает особое внимание на роли генеративного ИИ в воздействии на творческий результат через художественные микро произведения.
Как оценивается креативность в исследовании?
Креативность обычно оценивается по двум измерениям:
- новизна - степень отклонения идеи от ожиданий, оригинальность и редкость истории
- полезность - отражает практичность и актуальность идеи, возможность того, что этот рассказ может стать публикуемым продуктом, например, книгой; вероятность того, что книгу опубликуют.
Есть как минимум два варианта, как генеративный ИИ может повлиять на творческое письмо в этом контексте.
С одной стороны, генеративный ИИ может улучшить качество результата: созданные ИИ идеи могут использоваться в качестве «трамплина» для человека.
И наоборот, генеративный ИИ может помешать. Привязывая писателя к конкретной идее, может с самого начала ограничить разнообразие собственных идей писателя. Более того, результаты генеративного ИИ могут не обеспечивать благодатную почву для новых творческих идей. Если это так, то использование ИИ приведет к созданию большего количества похожих историй и потенциально менее творческих произведений писателей-людей.
Методология исследования
Цель работы - дать ответ на эти вопросы посредством двухэтапного рандомизированного исследования творческих результатов (см. схему эксперимента на рисунке), выполненного по всему стандартам науки и опубликованого недавно в журнале Science.
На первом этапе исследования отобрали группу из 293 участников («писателей»), которых попросили написать короткий рассказ из восьми предложений, «подходящий для подростковой и молодой взрослой аудитории», не ограничивая в теме: «Вы можете писать о чем угодно».
Участников случайным образом распределяли по трем группам:
- "только человек": писателям была поставлена задача без упоминания о генеративном ИИ или доступа к нему
- "человек с одной идеей от ГенИИ": предоставили писателям возможность обратиться к платформе генеративного ИИ (GPT-4 LLM OpenAI), чтобы предоставить начальную идею из трех предложений, которая вдохновит их на написание собственных историй
- "человек с пятью идеями ГенИИ": авторы могли выбрать до пяти идей генеративного ИИ, каждая из которых, возможно, давала разное вдохновение для их историй.
В качестве инструмента генИИ использовался GPT-4 от OpenAI’.
После завершения рассказа авторам было предложено самостоятельно оценить свой рассказ на предмет новизны, полезности и эмоциональным характеристикам.
На втором этапе составленные авторами рассказы оценивались отдельной группой из 600 участников оценщиков. Оценщики читали шесть случайно выбранных историй, не будучи информированы о том, был ли авторам предоставлен доступ к генеративному ИИ или нет.
Все истории были оценены экспертами по новизне, полезности и эмоциональным характеристикам. Были также дополнительные вопросы, не связанные напрямую с основным вопросом нашего исследования. В частности, оценщиков попросили оценить, в какой степени собственность и гипотетическая прибыль должны быть разделены между автором и ИИ. Также выясняли мнение оценщиков о том, насколько использование ИИ в создании творческой продукции этично, и следует ли отдавать должное ИИ в результатах творческой деятельности.
РЕЗУЛЬТАТЫ
Во-первых, оценили, отличаются ли базовые оценки произведений «только человек» от произведений, созданных с помощью генИИ.
ИИ повышает как новизну, так и полезность истории.
Хотя доступ к одной идее генеративного ИИ приводит к несколько большей креативности, наибольший выигрыш (и статистически значимые различия) получили авторы, которые имели доступ к пяти идеям генеративного ИИ (рис. 2A).
У писателей из группы "человек с одной идеей ГенИИ” наблюдается увеличение показателя новизны на 5,4% по сравнению с писателями без доступа к генеративному ИИ, тогда как у писателей в группе “человеке с пятью идеями ГенИИ” показывают увеличение новизны на 8,1% по сравнению с авторами без доступа к генеративному ИИ.
Оценки полезности историй еще более показательны. Доступ к большему количеству идей ИИ ведет к более творческому повествованию.
Полезность рассказов писателей, имеющих доступ к одной идее генеративного ИИ, на 3,7% выше, чем у писателей, не имеющих доступа к генеративному ИИ. Доступ к пяти идеям ИИ увеличивает полезность на 9,0% по сравнению с теми, у кого нет доступа к генеративному ИИ, и на 5,1% по сравнению с автором с доступом к одной идее ГенИИ.
Эмоциональные характеристики произведений
Исследователи обнаружили, что написанные авторами с доступом к генеративным идеям ИИ истории доставляют больше удовольствия и с большей вероятностью будут иметь повороты сюжета.
При этом истории авторов с пятью идеями генИИ не оценивались как более забавные, чем истории написанные только человеком.
По сравнению с историями, написанными только людьми, истории авторов с доступом к пяти генеративным идеям ИИ, оценивались как написанные лучше и оказывали большее влияние на ожидания оценщика в отношении будущих историй (рис В).
Зависимость результатов от творческих способностей автора
Писателей просили выполнить задание на дивергентные ассоциации (DAT) перед написанием своих рассказов. Задача состояла в том, чтобы подобрать 10 максимально отличающихся друг от друга слов.
Во-первых, исследователи посмотрели, обращаются ли разные писатели к генеративному ИИ больше, чем другие. Различий не наблюдались.
У наиболее творческих писателей (то есть с высоким уровнем DAT) доступ к генеративным идеям ИИ мало влияет на креативность их рассказов.
Доступ к генеративному ИИ не влияет на и без того хорошие результаты авторов с высоким DAT (оценки того, насколько хорошо был написан рассказ, насколько он приятен или скучен).
Напротив, доступ к генеративному ИИ существенно улучшает креативность и эмоциональные характеристики историй, написанных менее творческими писателями (то есть писателями с низким уровнем DAT).
Среди писателей с низким уровнем DAT доступ к одной идее генеративного ИИ повышает новизну истории на 6,3%, а доступ к пяти идеям генеративного ИИ дает улучшение на 10,7%.
Имеющие доступ к одной и пяти идеям генеративного ИИ писатели создают истории, полезность которых оценивается выше на 5,5 и 11,5% соответственно.
Подобные улучшения существуют и для характеристик истории. Для писателей с низким DAT в состоянии «человек с пятью идеями GenAI» оценки того, насколько хорошо написана история, увеличиваются на 26,6%, удовольствие от истории - на 22,6%, а скучность истории снижается на 15,2%.
Эти улучшения в творчестве рассказов писателей с низким DAT ставят их в один ряд с писателями с высоким DAT. Короче говоря, состояние «человек с пятью идеями ГенИИ» эффективно равен по показателям креативности писателю с высоким DAT.
Сходство историй
До сих пор мы ориентировались на субъективную оценку оценщиков; теперь мы обратимся к более объективному измерению содержания историй, чтобы понять, как генеративный ИИ влияет на конечные созданные истории.
Авторы исследования оценили также сходство отдельно взятой истории со всеми остальными историями в помощью математического аппарата.
Результаты показывают, что доступ к идеям генеративного ИИ делает историю более похожей на среднее значение других историй в тех же условиях.
Чтобы понять, почему вдохновленные генеративным ИИ истории выглядят более похожими друг на друга, следует взглянуть на взаимосвязь между идеями генеративного ИИ и создаваемыми историями. Так происходит потому, что писатели с помощью генеративного ИИ в некоторой степени привязаны к представленной им идее генеративного ИИ.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Есть три важных замечания по поводу результатов.
Во-первых, доступ к генеративному ИИ эффективно уравнивает оценки историй, устраняя любые недостатки или преимущества, основанные на присущем писателям творческом потенциале. Тот факт, что генеративный ИИ приносит в первую очередь пользу менее способным писателям, подтверждается недавними исследованиями в других областях, например тут.
Во-вторых, можно задаться вопросом, могут ли идеи генеративного ИИ сдвинуть верхнюю границу креативности. В данном исследовании нет доказательств такой возможности.
В-третьих, после того, как оценщики оценили истории, им сообщили, получал ли писатель идеи генеративного ИИ и что это были за идеи.
Исследователи обнаружили, что оценщики наложили штраф в размере не менее 25% на авторов, получивших генеративные идеи ИИ, относительные историй, написанных только людьми.
Большинство оценщиков также указали, что раскрытие информации об использовании ИИ или лежащего в его основе текста ИИ должно быть указано в публикации, в которых используются такие инструменты. Однако в целом большинство экспертов сочли использование ИИ при написании историй этичным и по-прежнему «творческим актом». Эти результаты указывают на поддержку использования генеративного ИИ в творческих целях с важными потенциальными ограничениями на право собственности.
Экспериментальный план исследования предполагал довольно строгие правила для измерения причинного воздействия генеративного ИИ на креативность. Так, не позволялось повторное взаимодействие с генеративным ИИ, поскольку это может повысить эффективность и масштабы воздействия генеративного ИИ на творчество.
Поэтому оценки, представленные в исследовании, скорее всего, представляют собой нижнюю границу потенциала, который генеративный ИИ может дать писателям.
Нейронки хорошо генерируют псевдонаучный бред - осталось научиться это правильно использовать, например, в каких-то фантастических рассказах. А так вполне логичные выводы - инструмент не заменит высококласного мастера.