Что пользователи думают о виртуальных помощниках и как их мнения можно применить в разработке ИИ-продукта Статьи редакции

Конспект материала директора по исследованиям Nielsen Norman Group Ралуки Будиу.

В предыдущем исследовании Будиу и коллеги выяснили, что даже постоянные пользователи виртуальных помощников (ВП) вроде Siri, Alexa и Google Assistant используют их для решения мелких задач.

• Узнают прогноз погоды или новости.
• Включают музыку.
• Ставят будильник или таймер.
• Создают напоминание.
• Ищут ответы на маловажные вопросы.

Такая ограниченная сфера применения свидетельствует о скудной функциональности виртуальных помощников, которые всё ещё не могут оказывать пользователям ощутимую поддержку.

Исследователи в течение двух недель анализировали записи двух групп пользователей виртуальных помощников.

1. Постоянные. Ежедневно пользовались «умной» колонкой (Alexa, Google Home) и виртуальными помощниками для смартфонов (Google Assistant и Siri). В группе было 23 человека: 13 из них пользовались «умной» колонкой (у семерых была Alexa, у остальных — Google Home), четверо использовали Google Assistant на телефонах, шестеро — Siri.
2. Новые. В этой роли выступили восемь владельцев iPhone. У них был небольшой опыт использования «умной» колонки и мобильной версии виртуального помощника. Исследователи попросили их установить приложение Google Assistant и пользоваться им на протяжении всего исследования.
   

Обе группы в течение двух недель вели записи, в которых должны были зафиксировать 16 уникальных применений помощников. Участники групп не могли записывать одно и то же действие дважды.

С появлением каждой новой записи исследователи задавали пользователям несколько вопросов о том, для чего они использовали виртуальных помощников, получили ли необходимую помощь и остались ли ею довольны.

Также участники три раза (до начала записей, после первой недели записей и после второй) рассказывали, зачем нужны ВП.

Будиу и коллеги хотели узнать, как перемены в представлениях о ВП и ожидания от него меняются, когда пользователи открывают для себя новые функции.

Согласно условиям эксперимента, участники не могли записывать один и тот же способ применения ВП два раза, что оказалось для них довольно затруднительным. Если первая неделя прошла успешно, то на второй пользователи начали сообщать, что найти новые применения для ВП становится труднее.

Многие участники стали искать информацию о том, как можно использовать ВП, на различных сайтах и в официальных руководствах пользователя.

После каждого нового применения ВП участники должны были написать, справился ли помощник с поставленной задачей, остался ли пользователь доволен результатом. Средний показатель выполненных задач за две недели составил 58% (по мнению пользователей). За первую неделю — 60%, а за вторую — 58%.

По мнению автора статьи, данные об удовлетворённости пользователей сопоставимы с данными о том, сколько запросов было успешно выполнено.

Показатель удовлетворённости — это средний процент запросов, выполнением которых пользователи остались довольны. На первой неделе он составил 76%, а на второй — 72%.

Некоторые относятся к ВП как к программе, способной быстро выполнить за них поручения. Они сравнили ВП с личным ассистентом, который бесплатно напоминает им о вещах, которые надо сделать, и объясняет, как их сделать, тем самым упрощая жизнь пользователя.

Некоторые рассматривают помощника как источник знаний. Они часто говорили, что их помощник «умнее человека», потому что «знает всё», хотя помощник не обладает собственным интеллектом, а просто имеет доступ к огромному количеству данных. Один из участников сравнил своего ВП с мозгом.

Будиу указывает, что даже в начале исследования постоянные пользователи были в курсе об ограниченной области применения своих помощников. Когда исследователи спросили участников, в чём именно заключаются проблемы ВП, многие рассказывали про одни и те же недочёты.

Пользователи отмечали разные проблемы: от трудностей с именами, непонимания различных произношений, акцентов или манеры речи (например, детской) до непонимания смысла вопроса.

Несколько пользователей жаловались, что иногда им требовалось переформулировать один и тот же вопрос, чтобы помощник мог его понять.

Alexa и Siri в ответ на многие запросы отвечали «Я не знаю», «Я не могу этого сделать» или «Вам придётся поискать информацию в другом месте».

Некоторые участники жаловались, что помощник не всегда даёт правильные ответы на их вопросы или может давать разные ответы на один и тот же вопрос.

Некоторые пользователи отмечали, что их помощники плохо справляются с выполнением сложной последовательности действий. Например, один из пользователей Google Assistant не смог попросить ВП зайти в «Google Диск» и открыть конкретный документ; для помощника это оказалось непонятно.

Пользователи мобильных версий ВП жаловались, что их помощники не всегда отвечали на их вопросы устно; вместо этого они направляли их на один или несколько сайтов.

Несколько человек упомянули, что их ВП нуждаются в чётко сформулированных и недвусмысленных вопросах, чтобы дать ответ.

Автор исследования утверждает, что к концу первой недели многие пользователи поняли, что обычно используют своих помощников для узкого круга задач. Некоторые из участников верили в потенциал своих ВП и хотели узнать о новых возможностях.

В итоге большинство пыталось расширить возможности своего помощника и найти для него новые применения. У некоторых это действительно получалось.

К примеру, пользователи нашли возможность произносить сложные слова по буквам, настраивать различные профили, вызывать такси в Uber или проверять статус авиарейса.

Но многие ещё больше убедились в ограниченности возможностей своего помощника. Они пытались воспользоваться новой функцией, о которой узнали из рекламы, но ничего не получалось.

Исследователи также попросили участников рассказать, считают ли они, что помощник узнал о них что-то новое в течение двух недель. Они получили несколько положительных ответов (и все они пришли от пользователей Google Assistant).

По мнению Будиу, новые пользователи склонны считать, что виртуальный помощник — это интерфейс для использования интернета, телефона и «умного» дома.

Кто-то назвал ВП «собранием “умных” устройств». Некоторые приравняли к ВП и саму Google (скорее всего, потому, что Google Assistant сделан Google) — они сообщили, что помощник использует информацию, которая хранится на телефоне пользователя или в его учётной записи Google для выполнения запросов.

Несколько пользователей также упомянули скорость работы Google Assistant и возможность быстро получить доступ к функциям помощника.

Новые пользователи быстро поняли, что не может делать ВП. Одними из первых появились жалобы на то, как Google Assistant работает на iPhone: плохая интеграцию с «родными» приложениями iPhone.

Но проблемы, выявленные новичками, вскоре стали напоминать те, о которых сообщали постоянные пользователи. Среди них были жалобы на отсутствие речевого контакта и непонимание запросов.

Было несколько жалоб, которые появились у новых пользователей и не были упомянуты большинством постоянных.

Один из пользователей рассказал, как попросил найти лучший маршрут до аэропорта, а помощник не понял его и просил уточнить: «Самый живописный или самый быстрый?».

Когда люди просят порекомендовать что-либо, помощник обычно показывает им список, а пользователи должны сами изучить его и выбрать понравившийся вариант.

Некоторых новых пользователей раздражало, что помощник не мог объяснить, как с ним работать.

Они также жаловались на то, что помощник не предлагает никаких способов исправить ошибки системы, например, в ситуациях, когда задачу не удалось выполнить из-за неверных настроек.

Некоторые жаловались, что помощник не пытается узнать о пользователе побольше и не помогает узнать больше о себе.

Иногда помощник терял нить разговора. На запрос про «Суперсемейку» ВП перечислял сеансы в кинотеатре, а когда следом пользователь спросил про «Парк Юрского периода», ответил исторической справкой.

Автор упоминает, что постоянные пользователи ВП не жаловались на эти проблемы (хотя некоторые упоминали неспособность помощника обрабатывать неоднозначные вопросы). Скорее всего, они уже сталкивались с ними некоторое время назад и научились каким-то образом избегать или обходить их.

Ранее автор рассказал о самых распространённых видах представлений о ВП. Среди них преобладают два типа:

1. ВП как интерфейс для пользования интернетом, телефоном или «умным» домом.
2. ВП как «карманный помощник».
   

Третий тип, который иногда переплетается с двумя другими, характеризует ВП как «мозг» или хранилище всех знаний.

1. Если создавать ВП или разрабатывать новый способ его применения, пользователи будут рассматривать систему как интерфейс, источник знаний или ассистента. Какое именно представление о помощнике сложится у большинства, будет зависеть от того, как разработать ВП. Однако среди пользователей, скорее всего, будут распространены все три вида представлений.
2. Разработчику нужно подумать, как представления пользователей могут помочь или помешать им понять дизайн и привыкнуть к функциональности системы. Можно избежать проблем, если перед созданием модели дизайна спрогнозировать, как представления пользователей о ВП повлияют на их ожидания.
   
3. Понять систему и её особенности будет проще, если разработчик поговорит с пользователями и на основе их представлений создаст алгоритмы поведения помощника.
   
4. Разработчику необходимо решить, нужно ли, чтобы у пользователей было ещё одно представление о системе. Если да, то можно, например, объяснить, чем система отличается от наиболее распространённых представлений о ВП. Возможно, это улучшит мнения пользователей о системе.
   

В исследовании Будиу и коллег участвовали постоянные и новые пользователи ВП.

Большинству постоянных пользователей пришлось найти и записать 18 уникальных применений для их помощников. Они быстро осознали, что обычно используют ВП для очень ограниченного круга задач (ставят напоминания, таймер, будильник, управляют «умным» домом).

Участники попытались расширить его, иногда пользуясь подсказками из интернета. Некоторые упоминали, что ознакомились с официальными руководствами пользователя Amazon и Google об Alexa и Google Assistant соответственно и ждали, когда смогут попробовать по-новому взаимодействовать с помощником.

Постоянные пользователи ВП имели устоявшиеся представления о том, какие задачи помощник может выполнить. Они хорошо знали о проблемах ВП, которые возникали только при выполнении определённых операций.

Проблемы с непониманием вопроса, неспособностью дать правильный ответ на вопрос, плохой функциональностью бесконтактного интерфейса чаще всего возникали у этой группы участников.

Когда пользователи пытались расширить область применения помощника, они обычно находили новые функции ВП, но не пытались обнаружить новые способы его взаимодействия с устройством.

Например, они нашли новые применения для Alexa: создавали голосовые профили, вызывали такси в Uber, пытались оплатить Venmo или найти информацию о чём-то. Некоторые из новых задач удалось выполнить, а некоторые нет. Становилось ещё хуже, когда пользователи заранее знали о новой функции из сторонних источников или рекламы, но воспользоваться ей не получалось.

Новые пользователи пытались найти больше способов взаимодействия их устройства с помощником, а не только новые функции ВП.

Они чаще сообщали о проблемах, связанных с самой концепцией искусственного интеллекта. Например, жаловались на неспособность помощника понять значение предложений, смысл которых можно трактовать по-разному, или на неспособность помощника провести анализ данных и дать обоснованный ответ на спорный вопрос.

Также новые пользователи чаще жаловались на отсутствие персонализации (и неспособность помощника изучить данные о прошлых запросах) или на то, что ВП не может вести полноценный диалог с пользователем и ссылаться на ранее упомянутую информацию.

Ещё одна проблема, о которой говорила эта группа пользователей, — помощник не учил тому, как лучше и эффективнее с ним обращаться.

Автор обращает внимание на то, что такое поведение типично для пользователей и дизайнеры должны помнить об этом. Задача состоит в том, чтобы дать пользователям понять, что системы меняются и совершенствуются с течением времени.

Авторы оставили рекомендации для компании, которая занимается разработками на основе ИИ или программ на базе виртуального помощника:

• Протестируйте свою программу на базе ИИ на реальных людях для решения реально существующих задач.
• Если тест выявил низкие показатели успешности для обычных задач, не выпускайте программу.
  

Будиу напоминает: новые пользователи наиболее ранимы. Их первое впечатление от системы определит, будут ли они пользоваться ею дальше. Важно, чтобы им помогли выполнить задачу и научили лучше пользоваться ВП.

Как только люди выясняют, что система не в состоянии выполнить задачу, они перестают пробовать. Они не возвращаются к системе позже, надеясь, что её обновили. ВП должен быть как можно более отзывчивым к пользователю, давать подробные инструкции по устранению ошибок и проявлять свои возможности наилучшим образом.

#googleassistant #siri #alexa #голосовойпомощник