ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

2 тщательных исследования (и 2 конкретных примера) показывают, что ИИ превосходит человека в творческом подходе, по крайней мере на этапе создания идей. Кратко, что в тексте?

Несмотря на различные методологии, измерения и контексты, исследователи приходят к одному и тому же выводу: творческие способности ИИ огромны, даже при использовании относительно устаревших инструментов, например, GPT-4.

А мой личный опыт работы в Upgraide.me на GPT-4o или Claude 3 Opus показывает, что хейтерам скоро будет совсем нечего сказать ни про производительность, ни про «человеческую» креативность нейронок.

Исследование проводилось Эриком Гузиком, Кристианом Бирге и Кристианом Гилде из Университета Монтаны, Вильнюсского университета и Западного университета Монтаны (2023).

Существует тест творческого мышления Торренса (TTCT), который является самым популярным тестом креативности. Прелесть этого теста в том, что есть 2 718 студентов, которые уже прошли его. И такое количество результатов дало широкую картину распределение баллов.

Исследователи заставили ChatGPT пройти этот тест 8 раз. Следующая прелесть в том, что TTCT является закрытым тестом, и его материалы недоступны в интернете и не были частью обучающего набора GPT. Это подтверждает, что решения тестовых задач нейронка действительно генерировала самостоятельно, а не брала из человеческих решений.

Как проходит тест? Обычно засекают время, так как в основном он состоит из просьбы придумать как можно больше решений проблемы за определенное время. Например, придумать как можно больше вариантов использования кирпича.

Ну а ChatGPT выводит текст со скоростью, значительно превосходящей человеческую, поэтому временные ограничения оказались неактуальными. Но исследователи промптировали в GPT «пожалуйста, продолжите задание» каждый раз, когда он прекращал генерировать текст самостоятельно. Это одна из особенностей этой нейронки, впрочем не самая неудобная. И на момент исследования ChatGPT не мог понимать изображения, поэтому изображения в заданиях TTCT были преобразованы в текстовые описания, которые передавались чату.

Ответы ИИ были переписаны на бумагу и отправлены в службу, которая обычно оценивает этот тест, вместе с ответами контрольной группы из 24 человек, чтобы проверяющие не знали, какие решения были получены от компьютера.

Тест на креативность оценивается по 3 аспектам креативности: уверенность знания (беглость), гибкости и оригинальности.

Беглость: Способность участника теста давать большое количество ответов на каждое задание.

Оригинальность: Способность давать необычные или уникальные ответы, требующие творческого подхода. Для получения высокого балла требуются идеи, которые отклоняются от очевидных, банальных или устоявшихся.

Гибкость: Способность создавать различные виды идей, переходить от одного подхода к другому или использовать различные стратегии.

Теперь мы доподлинно знаем: ИИ лучше, чем почти все люди, способен создавать множество идей (причем быстро), в том числе и неординарных. Он чуть менее хорош (но все равно потрясающе хорош) в смене стратегий на середине пути.

Исследование провели Каран Гиротра, Леннарт Майнке, Кристиан Тервиш и Карл Т. Ульрих из Корнельского технологического института и Уортонской школы при Пенсильванском университете (2023).

В этом исследовании GPT-4 тоже противостоит людям, но уже только студентам элитного университета. Это контрастирует с первым исследованием, в котором была широкая выборка людей. Данные о студентах были собраны в 2021 году, до широкого распространения генеративного ИИ, это чистое отражение творческих способностей человека без посторонней помощи.

Студентам и ИИ было дано следующее задание:

В качестве модификации стандартного мозгового штурма исследователи сначала заставили ИИ самостоятельно сгенерировать 100 идей, а затем представили ему несколько образцов хороших идей, после чего он сгенерировал еще 100 идей.

Конечно, сразу вскрылось, что ИИ значительно эффективнее человека в генерировании идей. GPT сгенерировал 200 идей продуктов за 15 минут, а человек— 5 идей за это же время. Получается, ChatGPT в 40 раз эффективнее человека в генерировании идей, что дает прирост производительности в 3900%.

Качество идей измеряли 20 судей, которых просили указать, насколько они заинтересованы в покупке продукта. По шкале оценки намерения покупки 0-1: идеи продуктов, сгенерированные человеком, получили 0,40 балла, а идеи ChatGPT - 0,47 и 0,49 балла.

Другой способ взглянуть на эти данные - рассмотреть 10 % лучших из всего пула идей, независимо от того, были ли они изначально сгенерированы людьми или ИИ. Здесь 87,5 % лучших идей поступили от ChatGPT и только 12,5 % - от студентов. В этом анализе данных ИИ оказался в 7 раз креативнее человека.

Окончательный анализ идей продуктов проводился по новизне, которая является иным качеством, чем заинтересованность людей в приобретении продукта. Достаточно новые продукты на первый взгляд могут показаться непривлекательными, и только после некоторого времени пребывания на рынке потребители осознают пользу революции.

Измерение новизны идеи стало редкой победой людей в этом исследовании креативности. По шкале 0-1 средняя оценка новизны идеи составила 0,41 для людей, по сравнению с 0,37 и 0,36 для ИИ.

Используйте итерационный подход к ИИ. Не соглашайтесь на его первые идеи, а повторно пробуйте, чтобы заставить сосредоточиться на других концепциях. И главное - это не количество идей. А то, насколько хороша окончательная итерация, и как вы сможете ее доработать. Чем больше сырых черновиков мы бросим в эту машину, тем прекраснее будет готовое произведение.

Что еще почитать?