Чатик с пользователем: как провести UX-исследование в переписке

Респондентов — как в количественных интервью, инсайтов — как в качественных.

Чатик с пользователем: как провести UX-исследование в переписке

Формат интервью в чате родился в VK спонтанно — и со временем вырос в самостоятельную методику. Теперь благодаря ему исследователи быстро и почти без затрат собирают большие объёмы качественных данных и первые впечатления при запуске A/B-тестов. Пообщались с UX-исследователями из ВКонтакте и VK Музыки — выяснили, в чем особенности таких интервью и как их проводить.

Павел Мальченко
старший UX-исследователь, ВКонтакте
Юлия Кингсеп
руководитель команды UX-исследователей, VK Музыка

Что такое интервью в переписке

Интервью с пользователем в переписке — это метод, который объединяет в себе черты качественных и количественных исследований. В отличие от качественных интервью, в которых участвуют до 10 респондентов, интервью в переписке позволяет собрать ответы сразу 40–70 участников. Так мы получаем данные, которые помогают повысить сатурацию ответов и сохранить глубокое погружение в проблемы пользователей. А в отличие от количественного опроса, метод позволяет уточнить ответ респондента или даже уйти в сторону от изначального сценария, если появится неожиданный инсайт.

«Первые такие интервью происходили спонтанно: мы приглашали людей на интервью или рассылали опросы, они отвечали в чате, мы вступали в переписку — так завязывался диалог. Сейчас контакт с нашими пользователями через переписку в соцсети — естественная часть рабочих процессов».

Юлия Кингсеп, руководитель команды UX-исследователей, VK Музыка

В каких ситуациях мы используем интервью в чате

Ключевая специфика интервью в переписке — возможность собрать сразу много качественных данных. Это удобно для решения задач, когда вопросов мало и они открытые, — например, если нужно составить список причин выбора или отказа от сервиса для дальнейшей количественной проверки.

Также интервью в переписке помогает быстро собрать первые впечатления при запуске A/B-тестов. А в случае неоднозначных результатов, когда один из вариантов проигрывает и нужно понять причину, можно ещё раз обратиться напрямую к респондентам. При этом конверсия в ответ будет выше, чем если мы будем договариваться с ними о звонке или встрече в офлайне.

Наконец, интервью в переписке может стать единственным способом контакта, когда другие способы связи затруднены или невозможны: если человек находится в локации с нестабильной связью или не может говорить.

Преимущества метода

У интервью в переписке есть ряд плюсов по сравнению с общением в офлайне или видеозвонке.

  • Простота в организации и экономичность. Интервью в чате проще организовать: исследователю и респонденту не нужно договариваться о беседе заранее и искать слоты в календаре. В отличие от онлайн-форумов и аналогичных методов, при общении в мессенджере человек пользуется привычным сервисом, и ему не приходится осваивать новый инструмент. Кроме того, в переписке люди готовы отвечать бесплатно или за небольшое вознаграждение.
  • Высокая конверсия в проведённые интервью. Если делать рассылку с приглашением на видеозвонок или офлайн, то конверсия составляет 1-2%, для общения в переписке она достигает 10%.
  • Снижение влияния модератора и обстановки. Респондент не видит эмоций и других особенностей интервьюера. При этом человек находится в привычной обстановке и чувствует, что может в любой момент выйти из коммуникации. В таких условиях легче давать честные ответы.
  • Легко делать протоколы. Полученные данные не нужно транскрибировать, ответы частично структурированы. Даже если респондент отвечает голосовым сообщением, ВКонтакте и в некоторых мессенджерах есть возможность бесплатно сделать расшифровку.
Чатик с пользователем: как провести UX-исследование в переписке
  • Дополнительные данные. Это могут быть стикеры, эмодзи, картинки и видео, которыми люди иллюстрируют свои высказывания, или другие проявления цифровой невербалики: индикаторы набора текста (например, долго пишет, а присылает короткое сообщение), редактирование или удаление сообщений. Все это пригодится для анализа. Также респонденты часто делятся скриншотами интерфейса на разных устройствах, задают вопросы о продукте и пишут фидбэк по другим функциям. Эти данные мы собираем в отдельный раздел отчёта, сохраняем в бэклоге или сразу относим коллегам.

Чатик с пользователем: как провести UX-исследование в переписке

Какие могут быть сложности

У интервью в чате есть не только преимущества, но и особенности, которые важно учитывать при проведении исследования.

  • Участники отвлекаются от разговора на свои дела, поэтому у них нет полноценного погружения в диалог, в отличие от традиционного интервью.
  • Если респонденту неудобно или не хочется печатать, он может отвечать коротко и сухо, даже несмотря на то, что согласился принять участие.
  • Когда не видишь модератора, сложнее ему доверять. Некоторые пользователи даже считают, что переписываются с ботом, хотя в какой-то момент по формулировкам вопросов осознают, что с ними общается человек, и очень этому радуются.

С чего начать

Как и при работе с любым другим методом, при подготовке исследования с помощью интервью в переписке нужно составить план: зафиксировать цели, задачи и вопросы исследования, прописать сценарий интервью.

От чьего имени вести диалог

Стоит определить, как будет делаться рассылка и от чьего имени будет вестись переписка. Лучше всего использовать официальный или корпоративный аккаунт: это увеличит число пользователей, готовых участвовать в исследовании. Респонденты регулярно проявляют бдительность и обращаются в службу поддержки, чтобы убедиться, что им пишут не мошенники, а официальный представитель, — в таких случаях верификация аккаунта очень полезна.

Аккаунт должен быть оформлен так, чтобы респонденту было понятно, кто и зачем пришёл к нему в личные сообщения. Гигиенический минимум — это аватар и необходимая информация в описании. Пустой аккаунт отпугнёт будущих участников исследования, а кто-нибудь на него непременно пожалуется.

«Мы переписываемся от имени сообщества, посвящённого исследованиям, — оно верифицировано, то есть имеет синюю галочку. Агенты поддержки знают о нём и успокаивают пользователей, которые приходят узнать, официальное ли это сообщество. К счастью, такое происходит нечасто, поскольку мы ничего подозрительного не просим и не предлагаем».

Павел Мальченко, старший UX-исследователь, ВКонтакте

Какими должны быть формулировки вопроса

В переписке нет возможности использовать интонации и другие невербальные средства личной коммуникации, поэтому требования к формулировкам вопросов здесь выше.

С одной стороны, они должны быть полными и точными, ведь в переписке не получится дополнить слова паузой и мимикой. Уточняющие вопросы должны быть более развёрнутыми, чем в устной речи: простое «почему» может быть непонятно.

Хороший пример:

— Я не смотрю истории.

— Почему не смотрите? Что там не нравится?

Вопрос всегда должен сопровождаться вопросительным знаком. Простое «Расскажите, пожалуйста» не обладает достаточной побудительной силой в переписке. Лучше: «Расскажите, пожалуйста, почему не делаете?»

С другой стороны, формулировки должны быть живыми, поскольку речь идёт о диалоге, а не об анкетном опросе.

Чатик с пользователем: как провести UX-исследование в переписке

Но иногда формулировок не хватает и стикеры не помогают, если респондент не понимает, о чём его спрашивают. Тогда можно добавлять скриншоты и другие материалы, которые проясняют контекст. Например, человек может не знать или забыть название функции — тогда помогает соответствующий скриншот интерфейса.

Что важно при взаимодействии с пользователем

В переписке, как и в живой коммуникации, исследователю важно установить контакт и при необходимости подстроиться под стиль общения респондента — на «ты» или на «вы», более или менее формально.

Когда в обычном интервью респондент отвечает на вопрос, исследователь может показать кивком, позой, междометиями, что услышал собеседника и что тот может продолжать. В переписке этого не происходит, поэтому важно находить альтернативные средства активного слушания — например, вставляя соответствующие фразы в начало своего сообщения («понимаю вас», «могу себе представить», «ужас», «круто»), а также эмодзи и стикеры. Особенно хорошо работают стикеры с текстом (например, с текстом «понимаю»).

Чатик с пользователем: как провести UX-исследование в переписке

Сложный момент в переписке — поиск баланса между паузой, чтобы не перебить и дать дописать свою мысль в следующем сообщении, и быстрым ответом, чтобы не потерять внимание респондента. Здесь нужно наблюдать за индивидуальными динамическими особенностями участника и подстраиваться под них.

Особенно важно быстро ответить на первое сообщение. Если замешкаться с первыми ответами, то респонденты чаще теряют интерес и не отвечают. А когда диалог завязался, человек легче возвращается, потому что уже вовлечён в коммуникацию.

Как строится исследование

Рассказываем об организации интервью в переписке. Шаг за шагом.

Рассылка с приглашением принять участие в исследовании

Сообщение с приглашением должно содержать всю необходимую информацию о задачах исследования, процедуре и условиях участия. При этом оно должно быть кратким и дружелюбным.

Мы всегда начинаем рассылку с небольшой порции и смотрим на реакцию. В зависимости от активности выборки и числа модераторов можно увеличивать объём. Главное — успевать оперативно отвечать на отклики.

«Понаблюдайте за своей аудиторией — возможно, вашим пользователям удобнее отвечать в рабочее время. А может быть, им проще отвечать до или после работы. И, конечно, помните про часовые пояса: люди не будут рады, если среди ночи им предложат поговорить о новых функциях сервиса».

Юлия Кингсеп, руководитель команды UX-исследователей, VK Музыка

Реакция модератора

Увидев сообщение с согласием на участие в исследовании, модератор начинает диалог от имени сообщества. Пользователи хорошо реагируют, когда он называет своё имя, благодарит за отклик и сразу же задаёт первый вопрос.

«Асинхронность диалога позволяет проводить интервью сразу с несколькими респондентами параллельно и даже заниматься другими задачами. Очень важно не увлекаться этим преимуществом и не брать слишком много диалогов сразу. Именно поэтому первую рассылку делаем небольшой, чтобы нас не завалило. Если злоупотреблять асинхронностью, надолго отвлекаться на другие задачи и делать слишком большие паузы, то можно и вовсе потерять респондента, который займётся более интересными делами, чем вялый диалог о цифровом сервисе».

Павел Мальченко, старший UX-исследователь, ВКонтакте
Чатик с пользователем: как провести UX-исследование в переписке

Вопросы и ход интервью

Сценарий переписки составлен заранее, но, как и обычном интервью, модератор следит за ходом беседы и может менять вопросы в зависимости от того, какие данные получает и насколько они соответствуют задачам исследования.

Например, если появляется неожиданная информация, мы ставим на паузу другие вопросы и раскручиваем новый инсайт. И наоборот: если ответы респондента блокируют ветку сценария (человек не пользуется функцией), то дальше этот опыт не раскапываем — можем спросить о причинах неиспользования или перейти к другой ветке сценария.

«По нашему опыту, оптимальный гайд интервью в переписке содержит около 10 вопросов. Конечно, если собеседник разговорчивый и тема ему откликается, то вопросов может быть и больше. Такое бывает и когда диалог растягивается на пару дней: отдохнули — и с утра можно ещё столько же вопросов обсудить».

Павел Мальченко, старший UX-исследователь, ВКонтакте

Завершение переписки

В завершающем сообщении модератор пишет, что вопросы закончились, благодарит за участие и спрашивает, есть ли у респондента вопросы к нам. Иногда этот вопрос открывает второе дыхание у собеседника, и мы получаем ещё порцию полезных данных. Но чаще всего на этом диалог завершается и мы прощаемся с участником.

Подойдёт ли этот метод для других продуктов?

UX-исследователям ВКонтакте удобно практиковать интервью в переписке: сервис одновременно является и предметом, и средством его обсуждения. Но и в других сервисах можно найти выход на переписку с пользователями, например через чаты с поддержкой или рассылку в мессенджерах.

«Недавно мне в мессенджер прилетел опрос от небольшого салона красоты, в котором нет исследователей. А если салон красоты смог, то профессиональный исследователь тоже справится с такой задачей».

Юлия Кингсеп, руководитель команды UX-исследователей, VK Музыка

Уже в эту пятницу в нашем канале VK Team мы сделаем анонс большого мероприятия по теме — подписывайтесь!

2424
6 комментариев

Всем привет!
Также делимся полезными материалами по теме:

Anna Sophie Kümpel. Using Messaging Apps in Audience Research: An Approach to Study Everyday Information and News Use Practices (2022). https://anna-kuempel.de/publication/kumpel-using-2022/kuempel_2022_digitaljournalism.pdf

Kaufmann K., Peil C. The mobile instant messaging interview (MIMI): Using WhatsApp to enhance self-reporting and explore media usage in situ (2020). https://www.researchgate.net/publication/335787683_The_mobile_instant_messaging_interview_MIMI_Using_WhatsApp_to_enhance_self-reporting_and_explore_media_usage_in_situ

Anna Wood. Using instant messaging for semi-structured interviews (2017). https://learningfrome-learning.blogspot.com/2017/05/using-instant-messaging-for-semi.html?m=1

Людмила Сарычева. Инструкция: смайлики в переписке с клиентом (2017). https://docs.google.com/document/d/1YtVQPad6f4LjPmulllJsCheZD1r7P6tQsmu6O0hd75k/edit#heading=h.m89bolbbxtqd

Pearce G., Thøgersen-Ntoumani C., Duda J. L. The development of synchronous text-based instant messaging as an online interviewing tool (2013). https://www.researchgate.net/publication/261991563_The_Development_of_Synchronous_Text-based_Instant_Messaging_as_an_Online_Interviewing_Tool

Thiago O. Fontes, Michelle O’Mahony. In-depth interviewing by Instant Messaging (2008). Ссылка
Amy Voida, Elizabeth D. Mynatt, Thomas Erickson, Wendy A. Kellogg. Interviewing Over Instant Messaging (2004). http://www.pliant.org/personal/Tom_Erickson/Voida_CHI01_InterviewOvrIM.pdf

9

Если посмотреть на преимущества и сложности, то видно, что преимущества все организационные, а все сложности касаются качества взаимодействия с пользователем и, как следствие, получаемых данных. Напрашивается вывод, что интервью в переписке и стандартные интервью - это разные методы с разными возможностями и решаемыми задачами. Тут вопрос: делаете ли вы сами для себя такое разделение? Если да, то для каких целей/задач подходит интервью в переписке, а для каких не подходит?

Еще не совсем понял тезис про проблему с влиянием модератора и обстановки на респондента. Если модератор не умеет проводить интервью, то это не повод менять метод:) Скорее, это повод подучить модератора или поменять его))

P.S. Отдельное спасибо за ссылки на статьи:)

1

Привет! Спасибо большое за вопрос.

Да, конечно — мы разделяем между собой эти методы в зависимости от поставленных задач. Когда нам не так сильно нужна глубина, но при этом количественные исследования нам не подходят — мы пользуемся переписками.

Переписка не подойдет, когда нам нужно досконально узнать нарратив того или иного опыта пользователя. Проблема по большей части в глубине.

А ещё дело в скорости — провести переписки можно быстро. То есть, если нам нужно быстро что-то узнать у пользователей – вперед делать переписки.

По поводу модератора и обстановки. Не важно, какой модератор — пользователю приятнее заниматься своими делами и отвечать между делом, чем отвечать на вопрос непонятно, где и непонятно кому.

Тут вопрос стоит именно в ситуации проведения исследования. Когда мы проводим переписки, как респондент, я могу долго не отвечать на вопрос и заниматься своими делами. Когда же я отвечаю на вопросы во время интервью, то отвлекаться уже не получится.

1

Вы бы лучше компанию с колен поднимали, а не эти статейки писали, сотни миллиардов убыток и 10ки никому ненужных продуктов. М менеджмент.

1