Простые правила, чтобы извлечь максимум из онлайн-опроса

Анастасия Хапалова, UX-исследователь AIC, делится правилами проведения опросов для их максимально четкой последующей интерпретации

Кастдев (custdev – customer development) или «развитие клиента» становится все более популярным подходом к ведению бизнеса и развитию продукта. По сути он заключается в том, что вы фокусируетесь не на идее продукта как таковой, а на потребностях и проблемах клиента, тестируя прототипы на потенциальных потребителях, в процессе выявляя инсайты с помощью опросов, глубинных интервью и прочих видов исследований.

Наша команда Human Experience в AIC проводит исследования самыми разными методами — от интервью до карточных сортировок и дата-аналитики. Но опросный — один из самых часто применяемых, и не только у нас. Крупные компании нанимают агентства, компании поменьше проводят исследования инхаус, знаю даже некоторых ИП, которые запускали опросы, чтобы лучше понять своих клиентов. Я уж не говорю об учебных проектах студентов школ по продакт-менеджменту. Так в моей фейсбучной ленте каждый день встречается несколько опросов.

Популярность опросного метода объясняется скоростью запуска и широтой охвата: собрал анкету в каком-нибудь бесплатном сервисе, задал все нужные вопросы и получил сразу несколько десятков или сотен ответов – хороший статистический срез, чтобы количественно подтвердить или опровергнуть гипотезы!

Но есть нюанс: скорость и охват — да, но отнюдь не простота реализации. В отличие от интервью, при опросе вы не общаетесь с респондентом лично, не видите его настроения, не можете переспросить, чтобы вернее истолковать его ответ. Нужно очень тщательно продумывать и вопросы, и варианты ответов, что с максимальной гарантией получить нужную информацию и не исказить результаты исследования.

Как любителю правильных формулировок, мне захотелось составить простой и понятный каждому чек-лист, который поможет избежать самых популярных ошибок и сделать опрос, точно отвечающий поставленной задаче.

Но только я задумалась о том, как это сделать, мне попалась чудесная статья исследователя Рея Пойнтера, автора книг “Справочник по исследованиям онлайн среды и социальных медиа: инструменты и методы для исследователей” и “Справочник по исследованиям рынка мобильных устройств: инструменты и методы для исследователей”. Потому не буду изобретать велосипед и попробую ограничиться вдумчивым и близким к тексту изложением материала с некоторыми авторскими отступлениями. С уверенностью позволяю себе такую вольность, будучи опытным профессионалом в UX-исследованиях и лингвистом по образованию.

Итак, начнем с главного правила.

Одним из распространенных исключений является случай, когда клиент хочет использовать альтернативную формулировку вопроса. Если клиенту известно, почему вы предпочитаете свою версию и если его версия не имеет существенных недостатков, тогда вам лучше использовать вариант, который предпочитает клиент.

• Люди должны понимать, о чем их спрашивают

• Люди должны быть готовы ответить на вопрос

• Люди должны иметь возможность ответить на вопрос

• Вы должны понимать, как интерпретировать ответы

1. Опрос должен хорошо работать на мобильных устройствах – никогда не запускайте исследование, не проверив его на смартфоне. Если вы работаете с клиентом, попробуйте настоять на том, чтобы он протестировал опрос именно с мобильного устройства перед запуском.

2. В вариантах ответов должен быть хотя бы один вариант для всех респондентов на случай, если варианты выше не подходят его ситуации. Так опрос будет достаточно исчерпывающим. То есть, возможно, стоит добавить такие варианты, как:

- “Я не знаю”

- “Затрудняюсь ответить” или “Ничего из перечисленного”

- “Другое”

3. Если вы предлагаете выбрать один вариант ответа, у респондента не должно быть возможности выбрать несколько вариантов. Поэтому предусмотрите заранее, чтобы чисто технически респондент не мог кликнуть на другие варианты ответа.

4. Избегайте наводящих вопросов (примеры будут дальше).

5. Старайтесь быть интуитивно понятными – избегайте длинных вопросов и ответов.

6. Собирайте персональные данные только в том случае, если они действительно очень нужны (и тогда соблюдайте все необходимые протоколы и правила по их хранению).

7. Собирайте только те данные, которые вам необходимы, чтобы у респондента не возникало вопросов, почему это вообще вас интересует.

8. Старайтесь использовать протестированные варианты вопросов/ответов/шкал. Новые формулировки ad-hoc должны быть протестированы перед запуском (мое примечание: как минимум попросите коллег/знакомых пройти опрос и дать обратную связь по понятности формулировок).

9. Задавайте вопросы только в том случае, если это действительно необходимо. Старайтесь не использовать открытые вопросы, где респонденты должны сами набирать текст ответа.

10. Старайтесь делать опросы короткими. 5 минут – отлично, 10 минут – допустимо, более 15 минут – скорее всего, слишком много, чтобы обеспечить высокое качество ответов.

Рей пишет, что последние 20 лет он практически каждое исследование заканчивал определенным вопросом: “Хотите ли вы что-либо добавить по этой теме или прокомментировать сам опрос? Напишите свой ответ в поле ниже?”

Так, по его мнению, можно понять настроение участников опроса, получить информацию о возможных проблемах с анкетой и ценные инсайты, которые помогают сфокусироваться при анализе. Рей утверждает, что ответы на этот вопросы он читает в первую очередь, когда приступает к изучению результатов.

Частично, на мой взгляд, это решает проблему личного контакта, о которой я писала вначале, и нивелирует когнитивные искажения от эмоционального состояния респондента (об особенностях проведения исследования с эмоционально напряженными респондентами уже писала моя коллега Валерия Курмак).

Не понятно, о чем спрашивают

Вопрос

Как часто вы встречаетесь с ошибкой 404 во время поиска информации в интернете?

Проблема – далеко не все знакомы с понятием “Ошибка 404”.

Вариант получше

Как часто вы переходите по ссылке в процессе поиска информации в интернете, а страница не работает?

Важно!

Такая формулировка не полностью соответствует понятию “Ошибка 404” (ссылки могут не открываться по другим причинам), но людям проще ответить при такой формулировке – это постоянный компромисс, баланс между требующейся информацией и способностью респондентов отвечать на конкретный вопрос.

Слишком сложная задача

Вопрос

Сколько единиц алкоголя вы потребляете в среднем в месяц?

Проблема – многие не поймут, как перевести бутылку пива или бокал вина в единицу алкоголя. Кроме того, если респондент вообще употребляет алкоголь, ему, скорее всего, будет сложно вспомнить, сколько раз он выпивал за последний месяц, не говоря уже о каких-то средних значениях.

Вариант получше

Сколько бокалов алкогольных напитков вы употребили за последнюю неделю?

• Ни одного
• 1 – 3
• 4 – 7
• 8 – 12
• 13 – 20
• Более 21
• Затрудняюсь ответить

Важно!

Варианты ответов необходимо корректировать исходя из задач конкретного вопроса. Например, если вам критично выявить разницу между одним и двумя напитками, тогда вам нужны соответствующие отдельные варианты ответов, в противном случае разделять не стоит. Возможно, в вашем исследовании вам может потребоваться больше или меньше промежутков. Так или иначе, старайтесь избегать ситуации, когда респонденты сами указывают значения, так как это приводит к многочисленным ошибкам в дальнейшем анализе результатов опроса.

В альтернативной версии вопрос измеряет не единицы алкоголя, а бокалы. Так мы одинаково оцениваем и маленький, и большой бокалы вина, и бокал пива 0,3, и 0,5, и все приравниваем к единице алкоголя. Это менее точно, но соответствует той точности, которую способен транслировать респондент. Если же вам действительно так важно разобраться в единицах алкоголя, вы должны предоставить респондентам инструкцию для их определения.

В вопросе используется временной отрезок “последняя неделя”, а не условный месяц. Исследователю важно узнать усредненное значение, но практика показывает, что людям сложно говорить о чем-то среднестатистическом. Если вы беспокоитесь о том, что получите значение привязанное к конкретной неделе, вы можете задать дополнительный вопрос. Например: количество алкоголя, которое вы употребили было

а) гораздо меньшим, чем обычно,

б) меньшим, чем обычно,

в) таким, как обычно,

г) бóльшим, чем обычно,

д) гораздо бóльшим, чем обычно?

Мало кто готов честно отвечать на прямо поставленный вопрос негативного характера

Вопрос

Вы обманываете руководство, когда отчитываетесь о своих представительских расходах?”

Проблема – вопрос наводящий, слово “обманываете” содержит резко негативную коннотацию. Люди, которые честно отчитываются о расходах в большинстве своем правдиво ответят на вопрос. А вот те, кто завышают свои расходы правду не скажут. Частично это обусловлено социально приемлемым смещением, а также наводящим характером вопроса.

Вариант получше

В таких компаниях, как ваша, какой процент сотрудников, по вашему мнению, завышают свои представительские расходы?

• 81% – 100%
• 61% – 80%
• 41% – 60%
• 21% – 40%
• 1% – 20%
• Таких нет

Важно!

Такой проективный подход к постановке вопроса (мое примечание: когда во избежание уклонения от ответа кандидату предлагается оценить не себя или свои действия, а окружающих в целом или какого-то персонажа) поддерживают исследования, которые показывают, что люди лучше анализируют поведение других, чем собственное (см. Mark Earls, HERD).

Длинный список интервалов с процентами сотрудников, которые обманывают компанию, позволит респондентам выбрать подходящий ответ и не фокусироваться на социально желательном ответе “Таких нет”.

Риск двусмысленной интерпретации (проблема “и/или”)

Вопрос

Был ли этот курс полезным и интересным?

Проблема – если вы получите отрицательный ответ, мы не сможем понять, какой из двух эпитетов курсу не подходит. Был ли он неинтересным или, может быть, бесполезным, а, может, одновременно и бесполезным, и неинтересным?

Вариант получше

Этот курс был

• интересным (Да/Нет)
• полезным (Да/Нет)”

Важно!

Если у вас более длинный список признаков, рассмотрите возможность одновременно показать весь список и дайте респонденту выбрать все подходящие качества. Также не забудьте вариант “Ничего из перечисленного”.

Недостаточно вариантов ответа

Вопрос

Какое мясо вы предпочитаете?

• Говядину
• Курицу
• Свинину

Проблема – не все едят мясо, а если и едят, то могут предпочитать что-то другое. В этом вопросе нет варианта ответа, который бы делал список исчерпывающим.

Вариант получше

Какое мясо вы предпочитаете?

• Говядину
• Курицу
• Свинину
• Ничего из перечисленного

Важно!

Вариант “Ничего из перечисленного” – один из способов сделать ответы исчерпывающими. Также возможны формулировки “Затрудняюсь ответить”, “Не относится ко мне”, “Другое (указать)”. Выбор варианта будет меняться от вопроса к вопросу и от проекта к проекту.

Ненужное противопоставление

Вопрос

Вы – … (выберите один ответ)

• качественный исследователь
• количественный исследователь
• ни то, ни другое.
• Не уверен

Проблема – кто-то может захотеть ответить, что он является И качественным, И количественным исследователем.

Вариант получше 1 (множественный выбор)

Вы – … (выберите все подходящие для вас варианты)

• качественный исследователь
• количественный исследователь
• ни то, ни другое.
• Не уверен

Вариант получше 2 (сохраните единственный выбор, но добавьте варианты ответа)

Какое описание лучше всего вам подходит?

• качественный исследователь
• количественный исследователь
• и то, и то
• ни то, ни другое.
• Не уверен

Важно!

Как и в других случаях, выбор альтернативы будет зависеть от того, что необходимо узнать исследователю.

Наводящие вопросы

Вопрос

Вы предпочитаете французское вино немецкому?

• Да
• Нет
• Не предпочитаю ни один из вариантов
• Не знаю

Проблема – мы наводим на мысль о том, что французское вино лучше немецкого, из-за порядка слов и скрытого смысла. Глагол “предпочитать” подразумевает, что варианты не равнозначны и есть более и менее удачная альтернатива.

Вариант получше

Что вы предпочитаете?

• Французское вино
• Немецкое вино
• Не предпочитаю ни один из вариантов
• Не знаю

Порядок вариантов ответа должен быть случайным.

Важно!

Есть и другие варианты, как вопрос может становится наводящим, например, при использовании слов со скрытым смыслом. В примере ранее был вопрос “Вы обманываете руководство, когда отчитываетесь о своих представительских расходах?”, и это тоже наводящий вопрос, так как слово «обманываете» имеет скрытый смысл. Тут присутствует негативная оценка такого действия, по сравнению, например, с “Вы корректно информируете руководство?”. Про то, как с помощью вопросом некоторые манипулируют респондентами можно почитать здесь.

На этом, конечно, возможный список ошибок не заканчивается, но, если избежать этих, каждый опрос точно станет лучше.

Могу честно сказать, что в той или иной форме эти ошибки проскакивали и в моей работе. Скорее всего, невозможно полностью избежать ситуацию, в которой респонденты как-то неверно будут трактовать вопрос. У каждого человека есть особенности мышления, которые сложно предугадать даже многократно протестировав опрос. Однако, я буду часто возвращаться к этому материалу, чтобы убедиться, что самые базовые правила были соблюдены.

В статье Рея мне очень понравилось, с каким уважением автор относится ко времени и трудозатратам респондентов, и это безусловно очень правильно. Ведь сама суть custdev заключается в том, чтобы слушать и слышать клиентов тех продуктов, которые мы создаем. Человек, который совершенно бескорыстно захотел помочь вам и поделиться своим опытом, не должен испытывать фрустрацию и злиться, не понимая, чего от него хотят, и не обязан тратить свое время, отвечая на вопросы, которые не преследуют конкретной цели, а просто добавлены, как говорится, до кучи.

Респонденты – это и есть наши клиенты, и в момент исследования мы должны обеспечить максимальный комфорт и удобство. Именно в этом случае возникнет ситуация win-win, в которой исследователь сможет получить всю необходимую информацию для взвешенных решений.