Соотношение качественного и количественного исследований – где могут быть проблемы?
Разберем сегодня, как может получиться, что данные качественного и количественного исследований будут драматически расходиться. И действительно ли это так. На примере одного из проектов.
Не забывайте подписываться, чтобы не пропускать новые статьи 😉.
В начале прошлого года у нас как раз была такая ситуация, когда по итогам параллельно проведенных качественного и количественного исследований (мы отвечали только за первое) клиент задал резонный вопрос: «Как так может быть, что у нас расходятся данные?».
И для начала скажу очевидное (или не очень): качественные интервью/ фокус-группы и количественные опросы – это разные форматы исследований. С разными целями/ задачами, разным форматом данных и своей спецификой. Как следствие, сравнивать их напрямую не всегда возможно. Исключение – когда оба формата проводятся на одну и ту же тему, как было в данной ситуации. Речь шла о тестировании рекламного ролика, причем параллельно проводились как фокус-группы, так и количественный онлайн-опрос.
И этот момент требует еще одной вставки. При классическом подходе к исследованиям в рамках конкретной прикладной темы традиционно начинают с качественного исследования – и лишь затем по его итогам формируют анкету для количественного. Таким образом на втором этапе мы можем проверить и оцифровать реальные инсайты и получим правдивую информацию.
В данном же случае, как было сказано выше, это правило не было соблюдено. Вопросы для количественной части формулировались в отрыве от качественной, без учета ее результатов (ибо их еще не было). Отсюда мы получили разные форматы и формулировки вопросов и, как следствие, разные (на первый взгляд) результаты.
Ну, а теперь давайте перейдем к примерам.
В отчете по качественному исследованию мы пишем, что респонденты не слишком хорошо понимали ключевую идею; по итогам количественного выходит, что все молодцы, идею поняли хорошо. Как так?
- В рамках качественного отчета мы поясняем, что респонденты считывали из ролика ряд идей – причем каждый из них понимал что-то свое. Как мы знаем, это не слишком хорошая ситуация (тут могу адресовать вас к соответствующим статьям про оценку идей рекламных роликов – ссылки дам ниже): при просмотре удачного рекламного ролика подобных разночтений быть не должно, все/ подавляющее большинство респондентов должны четко понимать ключевую идею, трактовать ее одинаково.
- В рамках количественного исследования вопрос был задан в формате «Поняли ли Вы ключевую идею?». И, разумеется, все/ почти все ответили, что поняли. И они действительно ее поняли. Как-то. Но из формулировки вопроса мы не видим, насколько верно и одинаково респонденты поняли ключевую идею – просто их утверждение, что что-то они поняли. Что не противоречит качественному исследованию – ведь и на фокус-группах никто не говорил «Я не понял(а) идею», лишь при анализе сказанного мы понимаем, что с этим есть проблемы.
- Второй вопрос на эту же тему в рамках количественного исследования предполагал выбор из нескольких вариантов тех идей, которые могли вынести из ролика респонденты. И (вот удивительно!) респонденты выбирали разные варианты. То есть фактически мы видим ту же проблему с трактовкой ключевой идеи. Прибавьте к этому, что в качестве вариантов ответа были указаны не все инсайты с фокус-групп (помним, что исследования проводились параллельно и поэтому учесть их было невозможно) – а значит, мы получили еще и большое искажение. Ведь те, кто не находил своего варианта, выбирали просто из доступных.
Или вот – название бренда. По итогам качественного исследования мы делаем вывод, что название считывается не всегда точно, есть небольшие разночтения/ нюансы. А вот в количественном такого не наблюдается. Как же так?
- Тут все еще проще: в количественном опросе просто не было вариантов с небольшими разночтениями – там присутствовало четкое название бренда и бренды конкурентов. И откуда тут понять про эти самые небольшие отклонения? Неоткуда. Вот и выходит, что почти все молодцы и четко считывают название сервиса.
- Почему такие варианты не задавались? Так а никто не думал, что они есть (ведь исследования проводились параллельно, а вылезло это только по итогам фокус-групп, мы помним). Вот и не было их.
Или еще такой момент. Количественное исследование говорит нам о том, что ролик воспринимался позитивно, а качественное – что он такой себе, не слишком хороший. Так, ну, а тут-то что могло пойти не так?
- На фокус-группах респонденты также часто отвечали, что реклама хорошая. А потом добавляли, почему считают ее хороший: ролик не слишком напрягает, а еще он короткий и можно будет быстро вернуться к своим делам. При этом ничего впечатляющего и отличительного от других таких же рекламных коммуникаций в нем нет. Сомнительные преимущества, не находите?
- При этом первая фраза от респондентов на фокус-группах тоже была про то, что ролик удачный. Но в рамках фокус-групп мы могли расспросить дальше и понять, что за этим ничего не стоит, а вот на количественном онлайн-опросе с этим всегда сложнее. Вот и получаем вывод, что как будто бы все прекрасно.
Вот так внешних расхождений довольно много, все это кажется странным. Но! Смотрим формулировки вопросов, варианты ответов… и нет, все про то же. Просто вопросы не учитывали инсайтов фокус-групп и поэтому не являются достаточно четкими и внятными.
Причем давайте подчеркнем тут следующее: все это не является проблемой количественного исследования самого по себе – просто в рамках подобных проектов оно должно следовать за качественным, учитывая полученные инсайты. Нарушаем это правило… Получаем то, что получаем. А главное – понять, что результаты количественника вводят нас в заблуждение мы можем только при сравнении обоих форматов.
И, конечно, интересные ссылки в конце – куда ж без них:
- Мой личный Telegram-канал https://t.me/marketing_from_Julia
- YouTube-канал на русском языке (в частности, видео на эту же тему)
- Статьи про тестирование рекламных роликов: Тестирование рекламных идей – подготовка, Тестирование идей рекламных роликов, Тестирование рекламных роликов постфактум.