Как мы прокачали пользовательские интервью на удалёнке

Оказалось, что отсутствие зрительного контакта и эмоциональной связи с респондентами — не проблема.

Уровень коммуникации явно снизился: в Zoom или Skype от исследователя ускользают невербальные знаки, а респондентам становится сложнее раскрыться. Да и качество связи оставляет желать лучшего, даже в крупных российских городах.

Мы выделили семь главных вызовов в проведении качественного кастдева в онлайн-режиме. С одними из них нам удалось справиться, другие стали препятствиями, с которыми пришлось научиться работать.

Через экран очень сложно передать эмоции, еще сложнее уловить их на слух. Иногда респонденты не хотят включать камеру во время видеозвонка: кто-то (чаще взрослые люди) стесняется заднего фона, кто-то — себя, сидящего дома. У кого-то просто все плохо со связью, и отключить видео — единственный способ провести интервью.

Когда со связью мы вряд ли что-то можем сделать, то вынуждены искать в этой ситуации плюсы. Например, во встрече могут принимать участие все заинтересованные: и продуктовая команда, и команда исследователей.

В таких многолюдных конференциях важно экологичное поведение. Чтобы респондента не смущала толпа людей, включают камеру и микрофон только интервьюеры (не больше двух человек). Так создается иллюзия разговора один на один или беседы на троих, и у респондента не возникает ощущения допроса.

Если кто-то из членов команды хочет задать свой вопрос, он делает это двумя способами: либо пишет его в наш внутренний чат (и тот, кто проводит интервью, вопрос видит и задает в удобный момент), либо озвучивает его в конце беседы, когда основной интервьюер передает слово.

Возможность присоединяться к интервью всей команде (включая разработчиков, тестировщиков, дизайнеров и т. п.) помогает отсекать очевидно неверные гипотезы еще на качественной стадии исследований.

Заполучить пользователей для глубокого интервью стало сложнее. У людей за время самоизоляции еще с первой волны накопилась усталость от экрана, и она продолжает увеличиваться. Ежедневно учителя, родители и дети проводят много времени перед экранами компьютеров и смартфонов и, к сожалению, стали чаще отказывать нам.

Несмотря на этот минус, количество интервью увеличилось во много раз — мы смогли охватить все регионы России. Это позволило нам сократить сроки каждого отдельно взятого исследования, иногда на несколько недель.

Кроме того, нам стало проще приглашать пообщаться средне-лояльных и нелояльных пользователей — они чаще дают объективную информацию, говорят о проблемах и точках роста платформы, в отличие от лояльных, благодарных пользователей. Поклонники платформы готовы беседовать в 90% случаев, нелояльные — примерно в 5–10%. Но это в любом случае лучше, чем пробовать позвать человека, которому не нравится твой продукт, на живое интервью или приехать к нему.

Вознаграждение, конечно, влияет на конверсию в «доходимость на интервью», но не всегда. И вообще, нужна ли оплата и искажает ли она ответы — это до сих пор нерешенный вопрос.

Однако основная причина отказа все же была связана с банальной забывчивостью и сложностью долгосрочного (а иногда и краткосрочного) планирования.

Чтобы помочь нашим респондентам, мы настроили систему напоминаний:

Несмотря на систему уведомлений, договоренности на удобное время, вознаграждение за участие в интервью, у 10% респондентов не получается подключиться из-за технических проблем, а 20–30% участников не приходят на интервью совсем.

Во время дистанционного обучения поведение пользователей изменилось. У детей и родителей появились новые проблемы, изменилась мотивация использовать образовательные платформы.

Для многих родителей и учителей за время дистанционного обучения Учи.ру стала помощником и позитивным островком в море неопределенности. Их ответы на все наши вопросы о функционале платформы искажались предвзятым теплым отношением. Такие данные не отражали полной картины, поэтому часть запланированных на весну исследований мы провели уже осенью, когда дети вернулись в школы.

Кроме того, у родителей ярко стала проявляться тревога за будущее: заменит ли онлайн-формат привычную школу?

На самом деле новые страхи, барьеры, желания пользователей помогли нам расширить сегментацию и количество подходов к каждому сегменту, подумать о новых триггерах привлечения.

Например, к сегментации по активности на платформе мы добавили такие типы сегментации:

Наша целевая аудитория — школьные учителя, школьники и их родители — живут в разных уголках России, и у всех разные технические возможности. У кого-то нет дома компьютера — только планшет или смартфон, у кого-то есть компьютер, но нет веб-камеры. Не все умеют пользоваться Google Meets или Zoom. Поэтому в первые минуты интервью нам часто приходится тратить время на урегулирование технических неполадок.

Чтобы сократить это время до минимума, мы даем подробные и понятные инструкции. Обычно мы высылаем письма или сообщения с информацией:

Эти инструкции выдает один из членов нашей команды, который занимается процессом подбора, рекрутинга и организации интервью. Интервьюеру можно сосредоточиться на анализе ответов и подготовке к содержательной части, не думая о технической.

Однако именно технические проблемы у респондентов помогли нам понять барьеры в использовании платформы, которые мы не видели раньше. Настройка техники, загрузка, первые действия в UX-тестах дали нам интересные гипотезы того, почему нашим пользователям трудно выполнять некоторые действия в разных ситуациях (например учителям на уроке).

Работать одновременно с несколькими респондентами в онлайне еще сложнее, чем с одним. Запаздывание связи, тихий звук и низкая концентрация внимания делают фокус-группы неэффективными. Дискуссию в удаленном формате сложнее удержать в конструктивном русле: участники говорят одновременно и одновременно же молчат, переспрашивают; одни говорят постоянно, а другие теряют нить разговора и примыкают к мнению лидеров. В фокус-группах на удаленке люди не раскрывают своих эмоций, в основном отвечают машинально.

Справиться со сложностями удаленных фокус-групп у нас получилось при помощи четких правил. Не высылаем их заранее, чтобы не якорить участников, а оговариваем в начале звонка:

В спорах и дискуссиях внутри фокус-групп исследователи находят много полезного. Однако на удаленке приходится жертвовать этим в угоду порядку. Он позволяет услышать мнение всех респондентов.

Для себя мы также ввели ряд новых правил:

1. Перед фокус-группой и составлением вопросов мы четко определяем:

2. Ранжируем вопросы по степени важности и максимально сокращаем их количество. В отличие от офлайна, в онлайне уходит больше времени на то, чтобы докопаться до сути, до контекста, увидеть эмоции, которые испытывает человек, поэтому приходится задавать меньше вопросов.

3. Стараемся раскрыть респондентов с помощью дополнительных вопросов. В онлайне люди склонны к машинальным односложным ответам, получить нечто большее можно именно так. При этом стараемся не дать заскучать остальным участникам встречи.

4. Стараемся лимитировать время на ответ. Это не совсем правильно, но позволяет выдержать тайминг.

Исследование пользовательского опыта учеников всегда было для нас непростой задачей. В онлайне она стала еще сложнее.

У нас было несколько гипотез о возможном поведении детей на удаленке. Часть из них подтвердилась. Фокус-группы с учениками в онлайне получаются слишком громкими и нерезультативными. В онлайн-интервью за детей говорят взрослые. Если ребенок часто смотрит не на монитор, а куда-то в сторону, после чего выдает ответ, это значит, что он получает подсказки от родителя. Такие ответы бесполезны для исследователя, ведь они не содержат интересующую его информацию — реальный опыт и впечатления ученика.

Поэтому мы решили на время минимизировать количество интервью и проводить больше UX-тестирований. В видеоконференции дети расшаривают экран с MVP или действующим продуктом, а мы либо даем конкретные задания, либо проводим немодерируемый тест, на протяжении которого ребята взаимодействуют с продуктом и комментируют.

Дети с удовольствием участвуют в UX-тестированиях. Гораздо проще общаться с незнакомыми взрослыми через игру, чем говорить. Когда ребенок пробует решить интерактивные задания или пройти образовательную игру, он забывает о стеснении и чувствует себя уверенно и раскрывается.

Оказалось, что отсутствие прямого доступа к респондентам, зрительного контакта и эмоциональной связи с опрашиваемыми — не проблема. К удаленным исследованиям можно приспособиться и даже найти в них плюсы.

Не думаю, что мы скоро вернемся к очным интервью, какими они были до пандемии. Однако, когда это случится, мы сократим какие-то офлайн-форматы ввиду того, что в онлайне они оказались эффективнее, особенно с точки зрения адаптации к скорости бизнес-задач.