Бизнес-консалтинг: ChatGPT немного помогает, но и приносит все больше беспокойств
Исследование Harvard Business School - Technology and Operations Management Group показало, как именно инструмент ChatGPT может повлиять на выполнение работы бизнес-консультантов. В эксперименте принимали участие реальные работники крупнейшей консалтинговой компании Boston Consulting Group. Выяснилось, что применение ChatGPT помогает работникам повысить эффективность работы на 40% в задачах брейнсторминга. Однако, когда речь идет о глубокой аналитической работе, применение алгоритма значительно снижает эффективность работы консультантов. Многие участники исследования заявили, что использование инструмента в брейнстормингах может снизить их креативные способности, ведь они просто перестанут ими пользоваться, полагаясь на алгоритм. Результаты эксперимента заставляют задуматься, как же именно технологии генеративного ИИ помогут людям заниматься креативными задачами. А ведь это именно то, что им обещали разработчики алгоритмов....
Технологии ИИ помогают все больше при решении креативных задач. Но чем больше технологии ИИ применяются в аналитической работе, тем к большим ошибкам приводит эта технология.
Прошлой весной профессор Karim Lakhani из Гарвардской школы бизнеса провел исследование, как ChatGPT повлияет на работу престижных бизнес-консультантов. Он предполагал, что они будут использовать этот инструмент с большим удовольствием. В разных исследовательских работах было показано, что ChatGPT сокращал работу консультантов с 2х часов до 20 минут.
Профессор Lakhani: «Я полагал, что консультанты воскликнут: Вау! Классно, теперь я смогу сделать больше.»
Вместо этого консультанты стали больше беспокоиться. Они оценили возможность сделать больше работы в меньшее время, однако быстрая работа ChatGPT создала угрозу им как высококвалифицированным работникам. Многие консультанты побоялись слишком уж полагаться на ChatGPT. Профессор: «Многие волновались и чувствовали угрозу от инструмента. Они считали, что использование ChatGPT станет пустыми калориями для их мозговой работы».
После предварительных исследований профессор Lakhani с коллегами разработали серьезный эксперимент для измерения степени влияния инструмента ChatGPT на работу 750 высококвалифицированных бизнес-консультантов. ChatGPT улучшил скорость и качество работ по генерации идей (брейнсторминг), но привел консультантов к некорректным выводам во время глубокой аналитической работы.
Исследование, проведенное Harvard Business School - Technology and Operations Management Group, детально запротоколировало ощущения работников во время использования инструмента ИИ. Один из участников сравнил ChatGPT с тем, как Прометей украл огонь у богов, чтобы помочь смертным людям. Другой участник эксперимента заявил, что ChatGPT похож на «быстрое питание» (junk food) – ему сложно сопротивляться, легко потреблять, но в конце концов эта еда приносит вред потребителю.
Исследование профессора Lakhani первым показало влияние алгоритмов на офисную работу
Ожидается, что в недалеком будущем языковые боты - такие как ChatGPT от OpenAI, Llama от Микрософт, Gemini от Гугл, - будут выполнять работу белых воротничков, например, копирайтинг, подготовку юридических документов, составление рекомендаций. Исследование профессора Lakhani одно из первых показало, как эта технология может повлиять на офисную работу и офисных работников.
Maryam Alavi, профессор Школы бизнеса Scheller в Институте технологий Джорджия: «Эксперимент прекрасно спланирован, что ценно для этой только начинающей формироваться области». Профессор Alavi не участвовала в эксперименте. Она изучает влияние цифровых технологий на работников и организации.
Участник эксперимента - лидер управленческого консалтинга Boston Consulting Group
Для проведения эксперимента были привлечены консультанты из управленческой практики Boston Consulting Group, крупнейшей консалтинговой компании в мире. Компания запрещает своим работникам использовать инструменты ИИ в работе.
François Candelon, управляющий директор BCG: «Мы вовлекли в эксперимент большое количество консультантов, работающих над реальными кейсами клиентов».
Как проходил эксперимент с консультантами BCG
Волонтеры были разделены на две группы. Каждая группа работала над своими задачами. В каждой группе участники использовали ChatGPT после 30минутного обучающего тренинга. Некоторые этот инструмент не использовали.
Одной из задач было проведение брейнсторминга для изобретения нового вида обуви, разработки убедительного бизнес-плана и описания идеи. Некоторые исследователи считали, что только люди могут выполнить столь креативную задачу.
Они ошибались. Консультанты, применяющие ChatGPT, сделали работу в среднем на 40% лучше, чем коллеги, не использовавшие алгоритм. Фактически, те, кто просто скопировали и вставили в презентацию результаты работы алгоритма, получили более высокие оценки чем те, кто сделал все самостоятельно. Консультанты, применившие ИИ алгоритм, выполнили работу на 20% быстрее.
Применение ChatGPT менее эффективными работниками помогает им показать лучшие результаты
Исследования ChatGPT в сфере юристов в этом году также показали, что бот помогает работникам с более низкой эффективностью лучше выполнять их работу. Профессор Lakhani с коллегами нашли подтверждение этому эффекту.
Однако в задаче, где требовалось объяснить решение, алгоритм оказался бесполезен. В группах с такими задачами волонтеров попросили дать совет мифической корпорации. Консультантам необходимо было проинтерпретировать данные экселя и сопоставить их с данными из интервью руководителей корпорации.
Применение ChatGPT в аналитических задачах ухудшило эффективность работы консультантов
В этой задаче ChatGPT стимулировал консультантов доверять результатам его работы. Без посторонней помощи люди давали правильный ответ в 85% случаев. Те, кто применял алгоритм без предварительного обучения для его использования, давали правильный ответ в 70%. А те, кто обучался использовать ChatGPT, показали худшие результаты – 60%.
Hila Lifshitz-Assaf, профессор Бизнес школы Warwick: в интервью после эксперимента «участники заявляли, что они пренебрегли проверкой результатов алгоритма, так как все выглядело очень правдоподобно».
Многие консультанты сообщали, что ChatGPT заставил их поволноваться о своем профессиональном будущем. François Candelon: каждый третий из четырех участников сказал исследователям, что использование ChatGPT может снизить их креативные способности.
Ethan Mollick, профессор управления в Школе Wharton при Университете Пенсильвании: «Если вы не задумывались о своем профессиональном будущем, значит, вы просто еще не применяли этот инструмент».
Ссылка на исследование: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321