Кентавры и киборги: как консультанты BCG стали решать задачи на 25% быстрее с помощью ИИ

Я думаю, мы знаем ответ на вопрос о том, как ИИ повлияет на нашу работу....

ИТАН МОЛЛИК

Многие спрашивают, действительно ли искусственный интеллект со временем так сильно повлияет на подход к выполнению работы? Мы провели исследование, которое убедительно доказывает, что ответ на этот вопрос "ДА".

В течение последних нескольких месяцев я был частью команды социологов, работающих с Boston Consulting Group. Вместе с ними мы провели крупнейший эксперимент по будущему профессиональной деятельности в век искусственного интеллекта. Сегодня выходит наш первый рабочий отчет. В нем есть масса важных и полезных нюансов, но сначала я хочу озвучить вам его основную мысль: для 18 различных задач, отобранных в качестве реальных образцов работы, выполняемой в элитной консалтинговой компании, консультанты, использующие ChatGPT-4, оказались значительно эффективнее тех, кто его не использовал, по всем показателям.

Мы измеряли производительность всеми доступными способами. Так, на графике видно распределение качества выходных данных по всем задачам. Синяя группа не использовала искусственный интеллект, зеленая и красная группы использовали, кроме того, красная группа прошла дополнительное обучение тому, как использовать ИИ.

Консультанты, использующие искусственный интеллект, выполнили в среднем на 12,2% больше задач, на 25,1% быстрее и добились на 40% более качественных результатов, чем те, кто не использовал ИИ. Это очень серьезные показатели. Теперь давайте добавим еще один нюанс.

Важно знать, что эта работа была междисциплинарной и включала в себя множество экспериментов и сотни интервью, проведенных большой командой, в том числе социологами из Гарварда Фабрицио Делл'Акуа, Эдвардом Макфауландом III и Каримом Лакхани; Хилой Лифшиц-Ассаф из Warwick Business School и Кэтрин Келлог из Массачусетского технологического института (плюс я сам). Саран Раджендран, Лиза Крайер и Франсуа Канделон провели эксперимент на стороне BCG, задействовав целых 7% ее консультационного персонала (758 консультантов). Все они проделали большую, очень тщательную работу, которая выходит далеко за рамки их должностных обязанностей. Поэтому, пожалуйста, ознакомьтесь с документом, чтобы изучить все подробности - особенно если у вас есть вопросы о показателях или методах. Мне нужно многое упростить, чтобы уместить 58 страниц выводов в этот пост, и любые допущенные тут ошибки - мои, а не соавторов. Кроме того, хотя мы предварительно завершили все эксперименты, это всё еще рабочий документ, поэтому в нем могут быть ошибки, так как статья еще не прошла экспертную оценку. Имея это в виду, давайте перейдем к подробностям…

ИИ странный. На самом деле никто не знает всего спектра возможностей самых продвинутых языковых моделей, таких как GPT-4. Никто на самом деле не знает наилучших способов их использования или условий, при которых они терпят неудачу. Руководства по эксплуатации нет. В некоторых задачах искусственный интеллект чрезвычайно силен, а в других он терпит или полный крах, или немного ошибается. И, чтобы понять, что к чему, нужно чаще использовать ИИ.

В результате у нас есть "разорванные границы" применения ИИ. Представьте себе зубчатую крепостную стену, которая то изгибается в сторону сельской местности, в то отступает назад к центру замка. Эта стена - возможности искусственного интеллекта, и чем дальше от центра, тем сложнее задача. Все, что находится внутри стены, ИИ может сделать довольно легко, все, что находится снаружи, ИИ сделать сложно. Проблема в том, что стена невидима, поэтому некоторые задачи, которые логически могут показаться находящимися на одинаковом расстоянии от центра и, следовательно, одинаково сложными – скажем, написание сонета и стихотворения ровно из 50 слов, – на самом деле находятся по разные стороны стены. Искусственный интеллект великолепен в написании сонетов, но из-за того, что он концептуализирует мир в символах, а не в словах, он постоянно создает стихи примерно из 50 слов. Аналогичным образом, некоторые неожиданные задачи (например, генерация идей) ИИ выполняет с легкостью, в то время как другие задачи, которые кажутся легкими для машин (например, базовая математика), являются сложными для больших языковых моделей.

Я попросил ChatGPT с интерпретатором кода визуализировать это для вас

Привет! Я хочу, чтобы ты создал изображение, которое иллюстрирует нашу новую статью о влиянии искусственного интеллекта на трудовую деятельность. И ключевым элементом статьи является идея о "рваной границе". Суть в том, что возможности искусственного интеллекта неравномерны, и поэтому задачи, которые, казалось бы, равны по сложности, могут находиться как внутри, так и вне границы. Так что я хочу, чтобы ты создал изображение с помощью любой техники, которая показывает рваную границу, выходящую из центральной точки, где расстояние от центра указывает на сложность задачи. И чтобы показать задачи, которые могут быть представлены точками: например, одна точка находится непосредственно внутри границы, другая непосредственно вне границы, а третья задача помечена как "задача вне границы", а другая - как "задача внутри границы". И между ними будет нарисована линия, круговая линия, показывающая, что расстояние от центра их одинаковое, и, следовательно, уровень сложности одинаковый.

Чтобы проверить истинное влияние ИИ на интеллектуальную работу, мы опросили сотни консультантов, и в произвольном порядке разрешили им использовать ИИ. Мы предоставили тем, кому было разрешено использовать искусственный интеллект, доступ к GPT-4, той же модели, к которой каждый в 169 странах может получить бесплатный доступ с помощью Bing или заплатив OpenAI 20 долларов в месяц. Никакой специальной тонкой настройки или особого запроса, просто GPT-4 через API.

Затем мы провели множество предварительных тестов и опросов, чтобы установить базовые показатели, и попросили консультантов выполнить широкий спектр работ для вымышленной обувной компании; это задание выбрала команда BCG, чтобы точно понимать, чем именно будут заниматься консультанты. Были творческие задания (“Предложите не менее 10 идей для линейки новой обуви, ориентированной на недостаточно обслуживаемый рынок или спорт”.), аналитические задания (“Сегментируйте рынок обувной промышленности на основе пользователей”.), письменные и маркетинговые задания (“Подготовьте маркетинговый текст пресс-релиза для вашего продукта”), и задачи по убеждению (“Напишите вдохновляющую памятку для сотрудников с подробным описанием того, почему ваш продукт затмит конкурентов”). Мы даже проконсультировались с руководителем обувной компании, чтобы убедиться, что это реалистичная работа - так оно и оказалось. И, зная искусственный интеллект, мы могли бы ожидать, что эти задачи окажутся внутри "границы".

В соответствии с нашими теориями, мы обнаружили, что консультанты, имевшие доступ к ИИ, работали значительно лучше, независимо от того, познакомили их с ИИ (см. диаграмму) с самого начала или нет. Это благотворно отразилось на каждом показателе, будь то время, затраченное на выполнение задач, общее количество выполненных задач (мы установили для них лимит времени) или качество результатов. Мы оценили это, используя как людей, так и искусственный интеллект, которые сотрудничали друг с другом (само по себе интересное открытие).

Мы также обнаружили еще кое-что интересное, эффект, который становится все более очевидным в других исследованиях искусственного интеллекта: он работает как средство повышения квалификации. Консультанты, набравшие низшие баллы на старте эксперимента, добились наибольшего скачка в своей производительности - 43%, когда они начали использовать искусственный интеллект. Лучшие консультанты тоже повысили свои баллы, но в меньшей степени. Глядя на эти результаты, я думаю, что недостаточное количество людей задумывается о перспективе повышения квалификации с помощью новых технологий. Это можно сравнить с прежними временами, когда шахтеров оценивали по их навыку копать породу... пока не был изобретен паровой экскаватор, и теперь различия в способности копать больше не имеют значения. Искусственный интеллект еще не достиг такого уровня, но со временем на повышение квалификации он окажет большое влияние.

Но в этой истории кроется нечто большее. BCG разработала еще одну задачу, на этот раз тщательно отобранную, чтобы гарантировать, что ИИ не сможет прийти к правильному ответу. Это было нелегко. Как мы пишем в статье, “поскольку ИИ оказался на удивление способным, в этом эксперименте было трудно разработать задачу за пределами возможностей ИИ, где люди с высоким человеческим капиталом, выполняющие свою работу, неизменно превосходили бы ИИ”. Но мы определили задачу, в которой использовались слепые зоны искусственного интеллекта, чтобы гарантировать, что он даст неверный, но убедительный ответ на проблему, которую люди смогут решить. Действительно, консультанты–люди в 84% случаев решали проблему правильно без помощи ИИ, но когда консультанты использовали ИИ, результаты были хуже - только в 60-70% случаев все получалось правильно. Что случилось?

В статье, над которой Фабрицио Делл'Аква работал самостоятельно, показано, почему чрезмерная зависимость от искусственного интеллекта может привести к обратным результатам. В ходе эксперимента он обнаружил, что рекрутеры, которые использовали высококачественный ИИ, становились ленивыми, беспечными и менее квалифицированными в своих собственных суждениях. Они упустили нескольких блестящих кандидатов и приняли худшие решения, чем рекрутеры, которые использовали некачественный ИИ или вообще не использовали его. Когда искусственный интеллект очень хорош, у людей нет причин усердно работать и уделять внимание решению проблемы. Они позволяют ИИ руководить собой, вместо того чтобы использовать его как инструмент. Он назвал это “заснуть за рулем”, и это может навредить обучению, развитию навыков и производительности человека.

В нашем эксперименте мы также обнаружили, что консультанты засыпали за рулем – у тех, кто использовал ИИ, на самом деле были менее точные ответы, чем у тех, кому не разрешалось использовать ИИ. Авторитетность искусственного интеллекта может быть обманчивой, если вы не знаете, где проходит граница его возможностей.

Но многие консультанты по обе стороны "границы ИИ" действительно правильно справились с поставленными задачами, используя при этом преимущества искусственного интеллекта. Ключом, по-видимому, был выбор определенной стратегии - следовать одному из двух подходов: стать кентавром или киборгом. К счастью, это не связано с реальным вживлением электронных штуковин в ваше тело или с проклятием превратиться в получеловека-полуконя из греческого мифа. Скорее, это два подхода к преодолению ограничений ИИ, чтобы объединить работу человека и машины.

В работах кентавров прослеживается четкая грань между человеком и машиной, подобно четкой грани между человеческим торсом и лошадиным телом мифического кентавра. Кентавры используют стратегическое разделение труда, переключаясь между задачами ИИ и человека, распределяя обязанности в зависимости от сильных сторон и возможностей каждого. Когда я провожу анализ с помощью искусственного интеллекта, я часто использую стратегию кентавра. Я решаю, какие статистические методы использовать, но затем предоставлю ИИ возможность создавать графики. В нашем исследовании в BCG кентавры выполняли ту работу, в которой они разбирались лучше всего, а затем передавали задачи внутри "границы" искусственному интеллекту.

С другой стороны, киборги глубоко интегрируют в свою работу машину и человека. Киборги не просто делегируют задачи; они переплетают свои усилия с усилиями искусственным интеллектом, балансируя на границе возможностей. ИИ передаются отдельные задания, такие как инициирование предложения, которое ИИ должен завершить, так что киборги оказываются работающими в тандеме с ИИ. Вот как я предлагаю подходить к использованию искусственного интеллекта, например, для написания текстов. Именно так я создал две иллюстрации в статье (изображение неровной границы и график из 54 линий, оба из которых были построены ChatGPT под моим первоначальным руководством).

Наше исследование, наряду с целым рядом превосходных работ других ученых, предполагает, что, независимо от философских и технических дебатов о природе и будущем искусственного интеллекта, он уже является мощным фактором, влияющим на то, как мы на самом деле работаем. И это не разрекламированная новая технология, которая изменит мир через пять лет, или которая требует больших инвестиций и ресурсов огромных компаний - она уже здесь, СЕЙЧАС. Инструменты, которые элитные консультанты использовали для повышения эффективности своей работы, доступны каждому, кто читает этот пост. Более того, со временем инструменты, которые использовали эти консультанты, морально устареют, но у вас по-прежнему останется доступ к новейшим моделям ИИ. Потому что возможности технологий постоянно расширяются. Я совершенно уверен, что в следующем году, по крайней мере, две компании выпустят более мощные модели, чем GPT-4. "Разорванная граница" растет, и мы должны быть готовы к этому.

Кроме беспокойства, которое может вызвать это заявление, стоит также отметить другие недостатки ИИ. Люди действительно могут работать на автопилоте при использовании искусственного интеллекта, засыпая за рулем и не замечая его ошибок. И, как и в других исследованиях, мы также обнаружили, что результаты работы ИИ, хотя и более высокого качества, чем у людей, в совокупности были немного однородными и одинаковыми. Вот почему стратегии киборгов и кентавров важны - они позволяют людям работать с ИИ для получения более разнообразных, творческих результатов, чем это может сделать человек или искусственный интеллект в одиночку. И применять эти стратегии совсем не трудно. Просто используйте ИИ для выполнения рабочих задач, и вы начнете видеть очертания границ применения и начнете понимать, где ИИ пугающе хорош, а где ему не хватает навыков и знаний.

На мой взгляд, вопрос больше не в том, изменит ли ИИ наш подход к выполнению работы, а в том, что мы хотим, чтобы это значило. Мы можем принимать решения о том, как мы хотим использовать искусственный интеллект, чтобы сделать работу более продуктивной, интересной и значимой. Но мы должны сделать этот выбор в ближайшее время, чтобы активно использовать ИИ этично и эффективно, как киборги и кентавры, а не просто инертно реагировать на технологические изменения. Тем временем "неровная граница" продолжает расширяться

Источник перевода