Рассказываем, с какими проблемами можно столкнуться в стандартных типах опросов — и объясняем, как их решить.
Привет! На связи Екатерина Ковалёва и Шахин Зейналов, мы отвечаем за исследования в двух вертикалях Авито — Авто и Услугах. Мы часто работаем с опросами: выясняем, что думают пользователи, чтобы понять, как развивать Авито.
На первый взгляд, опрос — это простая задача: задаёшь вопросы → получаешь ответы → строишь гипотезы на основе данных и меняешь продукт в лучшую сторону. Но на деле в любом опросе есть свои подводные камни. Разберёмся на примерах.
Опрос 1: Насколько вы довольны продуктом?
Задача. Узнать, насколько людям нравится продукт, которым они пользуются.
Примеры некорректных вопросов:
— Что вы думаете об этом продукте?
— Какие ваши первые эмоции после использования продукта?
Что не так. Обычный человек может не понимать профессиональный сленг: «продукт», «пилот», «кейс» — эти слова не из его мира. Если для вас «продукт» — это сервис, товар или услуга, то для респондента «продуктом» может быть молоко, кефир или хлеб.
Вопрос про эмоции звучит слишком сложно. Респондент вряд ли поймёт, чего именно вы хотите от него добиться, а первые эмоции он вряд ли помнит. Скорее всего, ответы на такие вопросы только помешают вам составить финальную общую оценку.
Как улучшить. Попросить респондента оценить свой опыт по шкале от 1 до 10, а после задать уточняющие вопросы. Например, «Вы купили отчёт Автотеки по проверке истории авто. Насколько вы удовлетворены полученным отчётом?». Такую задачу респонденту проще решить: сначала он читает конкретный вопрос → ставит оценку → по желанию поясняет, почему поставил именно такую.
Опрос 2: Как часто вы пользуетесь сервисом или услугой?
Задача. Оценить частоту пользования сервисом или услугой.
Примеры некорректных вопросов:
— Как часто вы смотрите видео на YouTube?
— Сколько раз в месяц вы пользуетесь нашим приложением?
Что не так. Ответы «постоянно», «часто», «редко» и «никогда» не помогают оценить объективную реальность, а полученные цифры не дают ответа про объём трафика.
Когда респондент видит подобную шкалу, он может не почувствовать разницу между «часто» и «постоянно». Каждый понимает эти слова по-своему: для кого-то «редко» — это один раз в неделю, а для кого-то — один раз в месяц.
Как улучшить. Лучше конкретизировать слова — вместо неопределённого «часто» указать количество раз. Также стоит добавить варианты ответов «Никогда» и «Каждый день».
Опрос 3: А вы знаете, что…?
Задача. Узнать уровень знаний пользователей о продукте или сервисе.
Примеры некорректных вопросов:
— Знаете ли вы, что на Авито можно проверить историю авто на наличие ДТП, узнать о пробеге, нахождении в розыске, количестве автовладельцев?
— Знаете ли вы, что наш сервис умеет сам составлять программу тренировок?
Что не так. Вопрос «Знаете ли вы?» слишком прямой, а из-за этого негибкий. Респондентам остаётся выбрать либо «да», либо «нет». К тому же из-за такой постановки вопроса многие выбирают вариант «Да», чтобы просто не выглядеть глупо.
Как улучшить. Корректнее задать вопрос так, чтобы респондент сам выбрал нужные ответы из нескольких вариантов. Например, спросить: «О каких функциях, помогающих в покупке автомобиля на Авито, вы знаете?» и дать все нужные вам варианты. То есть не стоит подсказывать, про какой именно сервис нам важно знать — лучше дать список вариантов.
Опрос 4: Сколько вы тратите?
Задача. Узнать личные данные, информацию, которой человек может не захотеть делиться, или задать вопросы, на которые сложно дать прямой ответ. Например, сумму расходов в месяц или выручку бизнеса. Такие вопросы мы называем сензитивными или «чувствительными».
Примеры некорректных вопросов:
— Какая у вас выручка в год?
— Сколько вы тратите на маркетинг?
— Какой процент трат приходится на Авито?
— Какую маржу в среднем вы закладываете при продаже?
Что не так. На подобные вопросы респонденты либо не хотят, либо боятся давать честный ответ. Они опасаются, что информация будет использоваться против них, например, придётся платить налоги, или после опроса цены на тарифы вырастут. Важно понимать, что у пользователей есть веские причины занижать ответы.
Как улучшить. Вообще, подобные вопросы лучше избегать, а за ответами обращаться к экспертам или к другим источникам данных. Если без подобных вопросов всё же не обойтись, советуем задать их в самом конце опросника. Обязательно стоит оставить манёвр для отказа и добавить вариант ответа «Затрудняюсь ответить».
Кейс: как просто спросить о сложном
Теперь подробнее разберём ещё один реальный кейс — объясним, как мы с командой составляем опросы.
Погружаемся в задачу. Наша цель — составить опрос, чтобы определить, какая модель монетизации лучше всего подходит профессиональным продавцам в Авито Услугах. Нужно было предложить три новых варианта и дать пользователям возможность сравнить их с действующим.
👉 [действующая модель] Платить за размещение объявлений
👉 Платить за просмотры объявлений
👉 Платить за запросы контактов — нажатия на кнопки «показать телефон» и «написать сообщение»
👉 Платить за целевые или прямые контакты — например, звонки
Выбираем методологию. Мы стали искать способ удобно сравнивать разные варианты между собой. Выбрали методологию «Side-by-side тестирование» — это когда последовательно сравнивают по два варианта, пока не остаётся тот, что нравится больше других. После мы составили анкету исследования.
Ищем визуализацию. Оставалось разобраться, как визуализировать модели монетизации, чтобы участникам опроса было всё понятно.
Сначала попробовали описывать варианты обычным текстом. Это самый банальный способ для нас, но самый сложный для потребителя, поэтому от идеи отказались. Решили сильно сократить текст, а в конце добавить «математический» пример — чтобы проиллюстрировать суть модели в цифрах.
Для каждой модели монетизации придумали схему. Сначала она больше напоминала условия арифметической задачки, поэтому её тоже решили упростить.
Показываем пользователю варианты по одному. Общими усилиями дизайнера, редактора, продакта, CRM-специалиста и исследователя мы подготовили подходящий вариант опроса:
- Респондент видит небольшой предварительный текст на первом экране
- Он переходит на следующий экран, на котором остаётся тот же текст, но добавляется визуализация модели.
- Каждая из трёх моделей появляется по одной, чтобы не перегружать респондента.
- Чтобы респонденты не голосовали за модель с самой низкой ценой, мы поставили везде одинаковый ценник. Менялось только количество целевых действий.
- Под каждым примером добавили небольшой текст, который пояснял, за что будет платить клиент: уникальные просмотры, нажатие кнопки «показать телефон» и «написать сообщение» или входящие звонки и первые сообщения в чате.
Получаем результаты. Вот что нам дал опрос:
— 80% респондентов отметили, что понимают, о чём идёт речь в каждой из моделей.
— Мы сами поняли, какая модель предпочтительнее для клиентов.
— Получили обратную связь по действующей и всем трём новым моделям.
Вместо выводов
Некоторые опросы можно сделать и без участия исследователей. Например, в Авито иногда отправляют пользователям email-рассылки или обращаются в сервисы по типу «Толоки».
Но часто задача с опросом пользователей оказывается сложнее, чем кажется. Поэтому даже если у вас мало времени, не стесняйтесь приходить к вашим UX-исследователям и Research-командам.
Они помогут погрузиться в задачи и формулировки, подскажут, как респонденты воспринимают ваши ответы и предложения. Это позволит получить корректные оценки и метрики цифры, которые будут двигать бизнес и помогать в решении задач.
Продуктовая и бизнес-команда + UX-исследователь + Marketing Research = ❤ ❤ ❤