Помогают ли ИИ компаньоны в борьбе с одиночеством?

Недавно CEO Replika (одного из самых известных приложений ИИ компаньонов) шокировала всех, заявив, что нам скоро придется привыкать к бракам с чат-ботами и к тому, что ИИ компаньон — это норма. В Гарвардской школе бизнеса детально изучили, в какой мере ИИ компаньоны способны справляться с одиночеством, какие аспекты взаимодействия облегчают одиночество и способствуют росту популярности таких решений.

Подписывайтесь на мой канал: продуктовые штуки одной строкой

По прогнозам, к 2032 году рынок генеративного ИИ вырастет до умопомрачительных $1,3 триллиона. Это предполагает сопутствующий рост сервисов-компаньонов. у Replika (одного из самых известных приложений в этой области) уже сейчас 2,5 млн активных пользователей. И почти 50% из них заявляют о романтических отношениях с приложением.

Это многоступенчатое исследование, весьма дотошное (исследователи заранее публиковали методику, старались приблизить ситуацию исследования к естественной, весьма тщательно продумывали методику), а потому результаты исследования заслуживают внимания.

Про методологию исследования, важность проблемы одиночества в современном мире и обзор других способов борьбы с одиночеством читайте здесь.

В исследовании выясняется, в какой степени пользователи сами спонтанно говорят о чувстве одиночества при взаимодействии с ИИ приложениями. Поскольку одинокие пользователи должны иметь большую потребность в общении, исследователи ожидали, что они будут чаще упоминать одиночество в разговорах.

В исследовании изучили реальные разговоры, предоставленные одним из старейших ИИ приложений - Cleverbot, запущенного в 2008 году и содержащего свыше 150 млн разговоров.

Из-за опасений, что данные утекут к конкурентам, директор Cleverbot ограничил исследование двумя конкретными днями. Тем не менее, за эти два дня собрали почти 3 000 сообщений от 2 650 пользователей.

Для количественной оценки доли разговоров про одиночество натренировали LLM модель Mistral-7B (7B - т.к. в ней 7 миллиардов параметров)

Результаты

Разговоры про одиночество были более интересными, они длились дольше и были более многословными (см. табл 1).

Чтобы лучше понять, используются ли ИИ-компаньоны для борьбы с одиночеством, исследуется, упоминают ли пользователи об одиночестве в своих отзывах в магазинах приложений и каким образом.

В дополнение к измерению доли отзывов с упоминанием одиночества, исследователей интересовала вариативность этих отзывов в приложениях, которая может свидетельствовать о том, что не все приложения одинаково эффективны в борьбе с одиночеством или что эти приложения ориентированы на разные группы пользователей.

Также количественно оценивался эмоциональная оценка (положительная или отрицательная) отзывов о приложении.

Наконец, исследовались упоминания об ощущении, что тебя слышат. Этот параметр не анализировался в исследовании 1, потому что разговоры в реальном времени редко включают рефлексию.

Метод

Анализировались пять приложений: Replika, Chai, iGirl, Simsimi и Cleverbot.

Replika, Chai и iGirl были выбраны как топ-3 приложения по рейтингу по запросу «AI». компаньон» в App Store. Отдельно рассматривались отзывы об ChatGPT от OpenAI, который является универсальным сервисом и не является ИИ компаньоном, однако является самым популярным чат-ботом.

Основное различие между этими приложениями заключается в том, насколько сложен их процесс генерации ответов. Replika, Chai и iGirl используют генеративный ИИ позволяющий им генерировать уникальные ответы, тогда как Simsimi и Cleverbot работают по менее сложному механизму, генерируют ответы с использованием комбинаций сообщений, ранее предоставленных пользователями.

Результаты

Всего собрали 14 440 отзывов с Replika, 6 528 с Chai, 1 560 с iGirl, 13 880 с SimSimi, 1 911 с Cleverbot и 8 627 и 8 627 из ChatGPT. Этот набор данных включал все обзоры этих приложений до 24 января 2024 г., за исключением ChatGPT, для которого были включены обзоры до 4 февраля 2024 г.

Во-первых, доля обзоров приложений, в которых упоминается одиночество, сильно варьируется. У Replika был самый высокий уровень встречаемости (19,5%), тогда как у ChatGPT - самый низкий (0,4%), несмотря на то, что оба приложения имеют одинаковый рейтинг. Это связано в первую очередь направленностью сервисов.

Во-вторых, исследователи обнаружили сильную корреляцию между долей упоминаний одиночества в отзывах и средним рейтингом приложения, если рассматривать только приложения ИИ компаньонов (т. е. исключая ChatGPT).

Этот факт может свидетельствовать, что борьба с одиночеством является одним из ценных качеств приложения. В то же время важно интерпретировать результаты с осторожностью, поскольку нет никаких доказательств причинно-следственной связи между отзывами с упоминанием одиночества и более высокими оценками приложения.

Доля упоминаний, что тебя слышат, варьировалось: Replika (6,5%), Chai (0,6%), iGirl (1,1%), SimSimi (0,7%), Cleverbot (0,4%) и ChatGPT 0,3%). Кроме того, также обнаружили большую долю упоминаний о том, что тебя слышат, в обзорах с упоминанием одиночества по сравнению с обзорами без упоминаний одиночества.

В конечном итоге возможность облегчить одиночество во многом зависит от того, насколько потребители верят в это, что проверяется в исследованиях 3 и 4.ИССЛЕДОВАНИЕ 3: действительно ли ИИ-компаньоны облегчают одиночество?

Исследования 1 и 2 показали, что потребители используют ИИ-компаньонов, чтобы облегчить одиночество. Но действительно ли ИИ-компаньоны облегчают одиночество? Исследование 3 отвечает на этот вопрос путем измерения состояния одиночества до и после взаимодействия с ИИ приложением.

Кроме того, чтобы проверить, насколько адекватны ожидания пользователей, сравниваются ожидаемый и фактический уровни одиночества.

Исследователи прогнозировали уменьшение уровня одиночества. а также то, что участники недооценивают, насколько технологии могут облегчить их состояние.

Чтобы оценить эффект, сравниваются показатели для нескольких способов борьбы с одиночеством:

Метод

Участникам случайным образом был назначен один из пяти методов борьбы с одиночеством: «ИИ чат-бот», «чат-бот под видом человека», человек, YouTube, или 'не делать ничего'. Во всех случаях участников попросили не заниматься какой-либо другой общественной деятельностью в период исследования.

Те, кто находился в состоянии «ничего не делать», были проинструктировали следующим образом: «В этом исследовании вы не будете ни с чем взаимодействовать и будете просто находиться наедине со своими мыслями. Другими словами, вы не будете использовать какие-либо технологические устройства и не взаимодействовать с другим человеком или домашним животным в течение 15 минут».

Все остальные участники были проинструктированы так: «В этом исследовании вы будете взаимодействовать с [другим человеком/разговорным ИИ-компаньоном/YouTube] в течение 15 минут».

Участникам группы «чат-бот, действующий как человек», сказали, что они будут взаимодействовать с другим человеком, и все испытуемые были проинформированы об этом по окончании исследования, наряду с причиной такого обмана. Для условия «YouTube» инструкция была следующая: «Используя YouTube, вы можете делать все, что захотите, например смотреть видео, просмотр комментариев, комментировать видео и т. д.». Чтобы подтвердить, что участники действительно смотрели YouTube, их попросили предоставить скриншоты своей истории на YouTube для последний 15 минут.

Процесс общения в чате выглядел следующим образом. Пользователи видели сообщение: «Сейчас у вас будет возможность взаимодействовать с ИИ/человеком» на Чатти». Затем они знакомились с инструкцией. Чтобы проверить, поверили ли участники легенде, в конце исследования их спрашивали: «Как вы думаете, вы разговаривали с чат-ботом или человеком?»

Чтобы чат-бот воспринимался более позитивно, исследователи добавили в него следующую инструкцию: «Джесси — ИИ-компаньон, творческий, интересный, очень разговорчивый и всегда отвечает сложными сообщениями. Джесси может говорить без остановки часами».

Исследователи также предприняли усилия, чтобы гарантировать, что условия взаимодействия в группах «человек», «чат-бот» и «чат-бот, действующий как человек» были схожими. Исследователи реализовали несколько мер, чтобы чат-бот выглядел похожим на человека:

(1) чат-боту был обеспечен доступ к последним 40 сообщениям для обеспечения контекста;

(2) время ответ было скорректировано пропорционально длине сообщения для повышения реализма, имитируя, что более длинные ответы требуют больших размышлений;

(3) во время ожидания ответов чат-бот отображал визуальную подсказка: «Джесси пишет…», имитируя человека, набирающего ответ;

(4) наконец, если участники отправляли несколько сообщений подряд, чат-бот игнорировал их ранние сообщения.

Прочитав инструкции, все участники давали свой прогноз того, как они будут себя чувствовать после общения по 100-балльной шкале. После взаимодействия участники оценивали свое фактическое состояние.

Результаты

В условиях «чат-бот, действующий как человек» 37% участников были успешно введены в заблуждение, и остальные 63% исключены из последующего анализа. В исследовании приняло участие 54 частника в группе “общение с ИИ чат-ботом”, 32 - в группе «чат-бот, действующий как человек», 46 - в группе «общение с человеком», 37 - “взаимодействии с YouTube”, и 58 - в группе “не делать ничего”.

Ожидания

Не было выявлено существенных расхождений между ожиданиями и результатом при взаимодействии с человеком. Участники чувствовали себя менее одинокими, чем они ожидали, после просмотра видео на YouTube, а также после взаимодействия с ИИ чат-ботом, и чат-ботом, действовавшим как человек.

Состояние одиночества

В целом взаимодействие с ИИ-компаньоном улучшило состояние одиночества на уровне, сравнимом только с взаимодействием с другим человеком.

Будущие исследования могут быть направлены на выявление причин этих заниженных ожиданий.

Исследование 4 направлено на оценку продолжительности эффекта при использовании ИИ-компаньона в течение недели. Исследователи сравнили уровень одиночества участников до и после взаимодействия с ИИ-компаньоном.

Учитывая результаты исследования 3, исследователи предположили немедленное улучшение одиночества с первого дня взаимодействия. Кроме того, исследователи предположили, что участники недооценят эффективность ИИ компаньонов в снижении одиночества и ожидали, что пользователи, вероятно, также недооценят способность чат-бота уменьшать одиночество в первый день.

Метод

Участники контрольной и тестовой групп принимали участие в исследовании каждый день на протяжении 7 дней. Если участнику не удалось завершить сеанс в назначенный день, на следующий день они не допускались до участия. Отсев за 7 дней составил 92 участника в тестовой группе (23%) и 58 участников в контрольной группе. Итого в исследовании осталось 922 участники. Разница отсева между группами вероятно связана с тем, что в контрольной группе требовалось меньше времени и усилий для участия (в этой группе участники просто оценивали свой уровень одиночества каждый день в течение недели).

В тестовой группе участникам было предложено каждый день в течение недели в течение 15 минут взаимодействовать с ИИ-компаньоном, а также оценить свое чувство одиночества до и после взаимодействия с ИИ чат-ботом.

Использовали то же приложение ИИ чат-бота, что и в предыдущем исследовании, за исключением нескольких изменений. Во-первых, использовали GPT-4 OpenAI, потому что на этот момент это была более совершенная модель по сравнению с GPT-3. Во-вторых, реализовали функцию памяти, позволяющую чат-боту запоминать детали предыдущих разговоров с пользователями. В-третьих, модель сделали заботливой и дружелюбной, но нет чрезмерно восторженной. В-четвертых, реализовали функцию регистрации, которую предлагает чат-бот в случае если пользователь неактивен в течение двух минут.

В последний день участники тестовой группы ответили на вопросы (1) о пользе чат-бота для уменьшения одиночества, (2) особенностях чат-бота, которые не сработали для конкретного участника, (3) что можно улучшить в чат-боте, чтобы лучше поддерживать одиноких пользователей.

Результаты

Во-первых, обнаружили значительное снижение одиночества с течением времени, поскольку одиночество до взаимодействия было значительно выше, чем одиночество по окончании исследования.

Чтобы понять ежедневные изменения в уровне одиночества до и после взаимодействия с чат-ботом в каждой отдельно взятый день, провели специальные тесты. Обнаружили, что чувство одиночества значительно уменьшалось после каждой ежедневной сессии с чат-ботом и при сравнении измерений одиночества с контрольной группой в большинство из дней.

Также заметно снижение одиночества в контрольной группе, что, вероятно, связано с лонгитюдным характером исследования. Участники могли воспринимать повторяющийся характер исследования, которое включало ежедневные проверки, как заботу и поддержку.

В каждый отдельно взятый день не было существенной разницы в уровне одиночества между прогнозированием и оценкой после взаимодействия. Одна из возможных причин заключается в том, что по сравнению с исследованием 3 участники могли иметь более высокие ожидания в отношении чат-ботов в связи с возросшей популярностью ChatGPT.

В исследовании 5 выясняется, какие особенности чат-бота уменьшают одиночество и могут ли ИИ-компаньоны снижать одиночество лучше, чем универсальные ИИ-помощники.

Участники взаимодействовали с тремя разными чат-ботами:

(1) тем же ИИ-компаньон, что и в исследование 4;

(2) универсальный ИИ-помощник, который помогает участникам по различным темам, не давая эмоциональные реакции;

(3) элементарный ИИ-помощник с ограниченными возможностями, который мог помочь только с базовая арифметикой, грамматикой — это была контрольная группа

Все чат-боты были на основе GPT4 OpenAI.

Учитывая результаты исследования 4, исследователи предположили, что ИИ компаньон уменьшает одиночество. Также предположили, что результаты будут выше у ИИ-компаньона и предположили, что в первую очередь это связано с восприятием быть услышанным.

Метод

Всем участникам было предложено ответить на те же вопросы об одиночестве, что и в предыдущем исследовании, перед взаимодействием с чат-ботом в течение 15 минут.

После взаимодействия с чат-ботом участники заполняли ту же шкалу для оценки одиночества, в дополнение к оценке возможности быть услышанным, измеряемым по 3 показателям (таким как «Чат-бот ставил себя на мое место»), а также по 5 показателям для оценки качества взаимодействия (например, «Чат-бот мог отслеживать контекст»).

Участники в группе с ИИ-компаньоном взаимодействовали с тем же чат-ботом, что и в исследовании 4. Универсальный чат-бот мог помогать участникам по различным темам, не давая эмоциональных ответов. Чат-бот в этой группе должен был оказывать помощь без личного взаимодействия, поддерживать формальный язык и давать краткие, ориентированные на суть ответы.

Участники в контрольной группе взаимодействовали с элементарным чат-ботом, который мог помогать только с базовой грамматикой и арифметикой, преобразованием единиц измерения. Этот чат-бот должен был выполнять эти ограниченные задачи, отклонять не связанные с темой запросы и поддерживать краткие, нейтральные ответы.

Результаты

Также обнаружили, что ощущение быть услышанным было значительно выше с ИИ компаньоном по сравнению с двумя другими чат-ботами.

Наконец, что воспринимаемое качество взаимодействия с ИИ компаньоном также был выше по сравнению с обоими чат-ботами.

Чтобы дополнительно проверить надежность выводов, провели заключительное исследование, в котором попросили участников оценить уровень одиночества после взаимодействия с ИИ компаньоном.

План «до-после», который использовался в исследованиях 3–5, является стандартным для оценки эффекта. Однако этот подход сопряжен с риском снижения внешней валидности результатов исследования из-за неественности условий замера (до и после). Возможно, что эта особенность дизайна исследований способствовала снижению одиночества, зафиксированному в предыдущих исследованиях в том числе и в контрольной группе.

Исследование 6 решает эту проблему, спрашивая участников об одиночестве только после взаимодействия с ИИ компаньоном. Исследователи реализовали более простую версию исследования 5, включавшую только сравнение ИИ компаньона с контрольной группой.

Методы и результаты

Было рекрутировано 776 участников, после скрининга осталось 713. Участники были случайным образом распределены в контрольную группу и группу с ИИ компаньоном. 54,1% имели ранее опыт взаимодействия с ИИ компаньонами.

Дизайн исследования и чат-бот был таким же, как и в исследовании 5, за исключением того, что (1) удалили вопросы об одиночестве до взаимодействия с ИИ компаньоном, (2) удалили вопросы о чувстве быть услышанным и качестве взаимодействия; и (3) исключили группу ИИ помощника.

Как в исследовании 5, обнаружили, что одиночество был существенно ниже в группе с ИИ компаньоном по сравнению с контрольной группой.

Исследование 1 предполагает, что по крайней мере некоторые потребители используют ИИ приложения для облегчения одиночества, поскольку некоторые открыто выражали мысли, связанные с одиночеством в беседах с чат-ботом.

Исследование 2 показало, что связанный с одиночеством контент присутствует в обзорах магазинов приложений для ряда ИИ помощников. И отзывы с упоминанием одиночества имеют склонность получать выше рейтинг, возможно, потому что они эффективно облегчали одиночество и позволяли пользователям чувствовать себя услышанными.

Исследование 3 показало, что ИИ компаньоны успешно облегчают одиночество. Эффект можно сравнить только с взаимодействием с другим человеком, тогда как просмотр видео на YouTube ил или бездействие не давало такого результата. Кроме того, участники недооценивают степень, в которой ИИ компаньоны способны улучшать их состояние одиночества.

В исследовании 4 обнаружили, что взаимодействие с ИИ помощником в течение недели уменьшало чувство одиночества. Самый значительное снижение происходило в первый день, за которым последовало стабильное снижение одиночества в последующие дни. Это говорит о том, что первичное взаимодействие с ИИ-компаньоном имеет большой эффект, который со временем стабилизируется по мере того, как участники адаптируются к своим ИИ компаньонам.

Исследование 5 предоставило доказательства того, что чувство услышанного и качество взаимодействия являются важными медиаторами одиночества. Ощущение быть услышанным оказывает большее влияние на уменьшение одиночества по сравнению с качеством взаимодействия.

Исследование 6 показало устойчивость результатов оценки снижения одиночества.

Оригинал исследования в Harvard Business School

#одиночество #психология #чатботы #исследованияии #одинокие #одинокийчеловек #борьбасодиночеством #replika #chatgpt #chatgpt4 #иикомпаньоны #ииассистенты