Интервью в переписке vs бот и анкета: что эффективнее для UX-исследования

Сравнили три метода на одном кейсе.

Интервью в переписке – один из частых методов, которые используют исследователи ВКонтакте. Мы уже рассказывали о том, как проводить такие интервью. Однако до сих пор мы не сравнивали эффективность этого подхода с другими методами сбора данных, поэтому решили это исправить в рамках исследования аудитории радио в VK Музыке. У нас была задача изучить опыт использования этой функции: контексты, драйверы, барьеры, потребности. В дизайне исследования были запланированы два этапа: качественный и количественный. На качественном этапе мы решили провести интервью в онлайн-звонках.

Но в процессе подготовки возникла пауза в ожидании рекрутинга участников. Чтобы не терять времени, мы решили параллельно начать сбор данных с помощью интервью в переписке. А потом подумали: почему бы не попробовать те же вопросы задать еще и в анкете, как в количественном опросе, только вся анкета будет состоять из открытых вопросов (страшный сон количественного исследователя). А потом вспомнили, что у нас ещё есть возможность задавать вопросы пользователям в сообщениях через чат-бота, и добавили эту методику к сравнению.

Таким образом у нас было для сравнения три инструмента коммуникации с респондентами: интервью в переписке, опрос через анкеты и опрос через бота. Вопросы во всех трех случаях были идентичные, хотя в процессе интервью в переписке мы задавали уточняющие вопросы при необходимости, а также использовали другие инструменты поддержания контакта (эмодзи, стикеры, фразы «здорово», «понимаю» и другие).

Время проведения интервью и опросов также совпадало: рассылки провели в один день и время, но переписки пришлось продолжить ещё и на следующий день.

Полностью завершенных интервью было статистически значимо больше в боте, чем в анкете. Остальные различия не значимы. Однако здесь интересны абсолютные значения: в боте мы получили 30 полностью завершенных интервью против 11 ответов в анкете и 9 интервью в переписке, – для качественного анализа это очень заметная разница.

Кроме того, стоит обратить внимание на разницу в трудозатратах: на подготовку и программирование бота и анкеты было потрачено по одному часу (даже немного меньше), а вот на интервью в переписке пришлось потратить 4,5 часа (подготовка и проведение).

Что касается содержания ответов, существенных различий между разными каналами не было. Обычно мы говорим о том, что в переписке можем получить более развернутые ответы, но в реальности оказалось, что некоторые ответы в боте и анкете были более развернутые и подробные, чем в переписках. В то же время в переписке нередко встречались короткие односложные ответы типа «всё нравится», «да» или «нет».

Мы видим, что проведение опроса через бота оказалось более эффективным: за меньшее время, чем в переписке, и при равных условиях с анкетой, бот позволил получить больше полезных данных.

Скорее всего, бот выигрывает за счет того, что сразу задает следующий вопрос после ответа на предыдущий, в то время как в переписке модератор может замешкаться и не успеть вовремя среагировать на сообщение респондента. В анкете тоже нет паузы между вопросами, но она уводит пользователя в анкету из уютного интерфейса мессенджера, в котором привычнее писать развернутые ответы, чем в текстовых полях анкеты.

Но для нас важнее оказалось соотношение объема полученных данных и трудозатрат: при минимальных усилиях со стороны исследователя бот обеспечил наибольший объём полезной информации.

Но вы ведь помните, что мы еще проводили очные интервью в онлайн-звонков? Здесь мы тоже можем сравнить результаты. Конечно, интервью в звонках дали намного больше данных, более глубокие и развернутые ответы, не говоря уже о том, что у модератора было намного больше возможностей задать уточняющие вопросы (в то время как в интервью в переписке модератор всё время балансирует между необходимостью уточнить и в то же время не потерять интерес респондента).

Но интервью в звонках заняло заняло намного больше времени: три дня ушло только на рекрутинг, в то время как в письменных методах (интервью в переписке, бот, анкета) мы сразу вышли на нужную аудиторию.

Значит ли это, что мы откажемся от интервью в переписке и полностью перейдем на использование ботов? Конечно, нет, хотя боты наверняка будем использовать чаще. Задачи этого исследования вполне укладывались в структурированное интервью: нам нужно было собрать качественные данные по открытым, но конкретным вопросам. И такие кейсы действительно эффективно решаются с помощью опросов через бота.

Тем не менее остаются ситуации, в которых нам необходимо задавать уточняющие вопросы. Например, когда нужно узнать опыт пользователей из экспериментальной группы A/B-тестирования или опросить специфическую аудиторию, которую сложно найти для очных интервью. В этих случаях мы по-прежнему будем обращаться к методу интервью в переписке.

И, конечно, тестирование исследовательских методов на этом не заканчивается. Уже существуют AI-инструменты для проведения интервью, так что в ближайшем будущем мы обязательно их протестируем и добавим к сравнению. Возможно, кто-то из вас сделает это раньше нас — будем рады узнать о ваших результатах!