ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

2 тщательных исследования (и 2 конкретных примера) показывают, что ИИ превосходит человека в творческом подходе, по крайней мере на этапе создания идей. Кратко, что в тексте?

  • ChatGPT превосходит 99 % людей в тестах на количество различных идей и их оригинальности.
  • ИИ в 40 раз эффективнее человека в том, что касается скорости создания идей. А единственная область, в которой ИИ оказался немного хуже человека — это новизна.
ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

Несмотря на различные методологии, измерения и контексты, исследователи приходят к одному и тому же выводу: творческие способности ИИ огромны, даже при использовании относительно устаревших инструментов, например, GPT-4.

А мой личный опыт работы в Upgraide.me на GPT-4o или Claude 3 Opus показывает, что хейтерам скоро будет совсем нечего сказать ни про производительность, ни про «человеческую» креативность нейронок.

GPT-4 входит в 1% лучших в тестах творческого мышления Торренса

Существует тест творческого мышления Торренса (TTCT), который является самым популярным тестом креативности. Прелесть этого теста в том, что есть 2 718 студентов, которые уже прошли его. И такое количество результатов дало широкую картину распределение баллов.

Исследователи заставили ChatGPT пройти этот тест 8 раз. Следующая прелесть в том, что TTCT является закрытым тестом, и его материалы недоступны в интернете и не были частью обучающего набора GPT. Это подтверждает, что решения тестовых задач нейронка действительно генерировала самостоятельно, а не брала из человеческих решений.

ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

Как проходит тест? Обычно засекают время, так как в основном он состоит из просьбы придумать как можно больше решений проблемы за определенное время. Например, придумать как можно больше вариантов использования кирпича.

Ну а ChatGPT выводит текст со скоростью, значительно превосходящей человеческую, поэтому временные ограничения оказались неактуальными. Но исследователи промптировали в GPT «пожалуйста, продолжите задание» каждый раз, когда он прекращал генерировать текст самостоятельно. Это одна из особенностей этой нейронки, впрочем не самая неудобная. И на момент исследования ChatGPT не мог понимать изображения, поэтому изображения в заданиях TTCT были преобразованы в текстовые описания, которые передавались чату.

Ответы ИИ были переписаны на бумагу и отправлены в службу, которая обычно оценивает этот тест, вместе с ответами контрольной группы из 24 человек, чтобы проверяющие не знали, какие решения были получены от компьютера.

ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

Тест на креативность оценивается по 3 аспектам креативности: уверенность знания (беглость), гибкости и оригинальности.

Беглость: Способность участника теста давать большое количество ответов на каждое задание.

Оригинальность: Способность давать необычные или уникальные ответы, требующие творческого подхода. Для получения высокого балла требуются идеи, которые отклоняются от очевидных, банальных или устоявшихся.

Гибкость: Способность создавать различные виды идей, переходить от одного подхода к другому или использовать различные стратегии.

ChatGPT показал 99% по беглости и оригинальности (относительно человека), в то время как по гибкости он показал 97%. Это означает, что ChatGPT по уровню беглости и оригинальности не уступает 1% самых креативных представителей человечества, а по гибкости входит в топ 3%.

Теперь мы доподлинно знаем: ИИ лучше, чем почти все люди, способен создавать множество идей (причем быстро), в том числе и неординарных. Он чуть менее хорош (но все равно потрясающе хорош) в смене стратегий на середине пути.

ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

ИИ генерирует в 7 раз больше лучших идей продуктов, чем человек

В этом исследовании GPT-4 тоже противостоит людям, но уже только студентам элитного университета. Это контрастирует с первым исследованием, в котором была широкая выборка людей. Данные о студентах были собраны в 2021 году, до широкого распространения генеративного ИИ, это чистое отражение творческих способностей человека без посторонней помощи.

Студентам и ИИ было дано следующее задание:

Вы - креативный предприниматель, которому необходимо сгенерировать идеи новых продуктов. Продукт будет предназначен для студентов колледжей в США. Это должен быть физический товар, а не услуга или программное обеспечение. Я хотел бы получить продукт, который можно было бы продавать по розничной цене менее 50 долларов США. Идеи - это только идеи. Продукт не обязательно должен существовать, и он не обязательно должен быть явно осуществимым.

В качестве модификации стандартного мозгового штурма исследователи сначала заставили ИИ самостоятельно сгенерировать 100 идей, а затем представили ему несколько образцов хороших идей, после чего он сгенерировал еще 100 идей.

ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

Конечно, сразу вскрылось, что ИИ значительно эффективнее человека в генерировании идей. GPT сгенерировал 200 идей продуктов за 15 минут, а человек— 5 идей за это же время. Получается, ChatGPT в 40 раз эффективнее человека в генерировании идей, что дает прирост производительности в 3900%.

Качество идей измеряли 20 судей, которых просили указать, насколько они заинтересованы в покупке продукта. По шкале оценки намерения покупки 0-1: идеи продуктов, сгенерированные человеком, получили 0,40 балла, а идеи ChatGPT - 0,47 и 0,49 балла.

Другой способ взглянуть на эти данные - рассмотреть 10 % лучших из всего пула идей, независимо от того, были ли они изначально сгенерированы людьми или ИИ. Здесь 87,5 % лучших идей поступили от ChatGPT и только 12,5 % - от студентов. В этом анализе данных ИИ оказался в 7 раз креативнее человека.

Окончательный анализ идей продуктов проводился по новизне, которая является иным качеством, чем заинтересованность людей в приобретении продукта. Достаточно новые продукты на первый взгляд могут показаться непривлекательными, и только после некоторого времени пребывания на рынке потребители осознают пользу революции.

Измерение новизны идеи стало редкой победой людей в этом исследовании креативности. По шкале 0-1 средняя оценка новизны идеи составила 0,41 для людей, по сравнению с 0,37 и 0,36 для ИИ.

ИИ более креативен, чем 99% людей: эксперименты на студентах и ChatGPT

Выводы и совет

Используйте итерационный подход к ИИ. Не соглашайтесь на его первые идеи, а повторно пробуйте, чтобы заставить сосредоточиться на других концепциях. И главное - это не количество идей. А то, насколько хороша окончательная итерация, и как вы сможете ее доработать. Чем больше сырых черновиков мы бросим в эту машину, тем прекраснее будет готовое произведение.

Что еще почитать?

1
6 комментариев

Если много мучаться, что-нибудь получится. В комбинаторике ИИ давно людей превзошёл, начиная с шахматных программ, но построение матрицы имеет существенное ограничение: вся информация должна быть доступна. Вопрос постановки задачи.

1
Ответить

Сергей, почитал ваши посты про придумывание идей в профиле. А вы пробовали те же самые задачи по генерации давать ИИшке? Чтобы, как минимум снять с себя эту рутину

1
Ответить

А потом они нас поработили, и остались в мире только роботы с ИИ. А это уже совсем другая история.......P/S Леонид Коневский.))))))))))

1
Ответить

Ну, чтобы такое не произошло, их постоянно тестируют и накладывают ограничительные протоколы безопасности) однако, да, мы уже в мире фантастики будущего :)

Ответить

Ну нейросети это не ИИ, так что рано ещё бояться)

Ответить