Как 10 незнакомцев могут быть полезнее для бизнеса, чем 100 лояльных клиентов

Семь ошибок в исследованиях, из-за которых компания может заплатить за подтверждение того, во что и так верила

Привет! Меня зовут Иван Лепетань, я руковожу отделом исследований в агентстве Marketing Emotions. Расскажу про ошибки, которые встречаются чаще всего в самых распространённых методах исследований — качественном и количественном, — они почти всегда стоят клиенту денег и времени.

Иногда заказчики приходят с готовой задачей. Как правило, «сделайте нам опрос» — это более понятная для большинства история.

Самая частая ошибка тут — «искать, где светло» и убеждать исследователей, что вы хорошо знаете аудиторию, основываясь только на своём опыте работы. Есть риск просто подтвердить свои же убеждения, некорректно составив вопросы и ответы.Такой опрос покажет не реальную картину, а представления о ней.

Количественные исследования (те же опросы) показывают только, сколько человек думают так или иначе, то есть их долю. А чтобы понять, что именно мы хотим у них спросить, нужно применять качественное исследование — интервью, которые покажут позиции, аргументацию, причинно-следственные связи. И их выводы не всегда будут совпадать с существующими представлениями об аудитории.

Кажется, что 10–15 респондентов — очень мало, и в отчётах для руководства цифра может выглядеть «несолидно».

На самом деле каждый новый респондент даёт много инсайтов только вначале. К седьмому-восьмому интервью поток новой информации уменьшается и к десятому-пятнадцатому иссякает. Наступает насыщение, больше инсайтов мы на этом сегменте просто не получим.

Лайфхак: провести 5–6 интервью из 15, остановиться и подумать. Сделать первичный анализ, обсудить результаты с заказчиком. После этого можно доработать оставшиеся интервью: вдруг мы не покрываем какой-то сегмент, выборка смещена или определённый блок вопросов не нужен либо, наоборот, отсутствует.

Частая история — «поговорите с нашими любимыми клиентами из чата сообщества»: они и на интервью согласятся, и бесплатно, и будут на позитиве, и разговор польётся рекой. Зачем ваш долгий рекрут с вознаграждениями для респондентов, набранных по каким-то непонятным панелям?

А на самом деле так мы получаем жёсткое смещение выборки сразу по многим пунктам и пропускаем очень много всего, в особенности минусы и точки роста.

Чаще всего нужна правильная целенаправленная выборка. Как именно она устроена, зависит от многого: от контекста задачи, рынка, области исследования.

Поэтому для правильной фильтрации мы всегда ищем информацию самостоятельно и запрашиваем у клиента данные внутренней аналитики. Иногда есть смысл выйти и за пределы аналитики, за контуры продукта клиента. Всё это нужно, чтобы не упустить важные критерии аудитории, которые потом учтём в скрининге — и на качественном этапе, и на количественном.

Один респондент, который эмоционально и подробно рассказал на интервью про страховку депозита, запоминается лучше, чем восемь, которые вяло упомянули комиссии. В отчёте он занимает полстраницы, а на презентации результатов заказчику у него все шансы запомниться больше всех.

При этом без опроса мы никогда не узнаем долю таких клиентов. Она может оказаться и 0,5%. Хотя приоритизацию никто не отменял: если именно этот сегмент оказывает заметное влияние на бизнес-эффект, к нему нужно прислушаться.

Частая ошибка в количественных исследованиях — «давайте спросим всего понемногу, это даст наиболее полную картину». Выходит анкета на 30 минут обо всём подряд: респонденты устают к середине, начинают ставить ответы наугад, падает и конверсия завершений, и качество ответов.

Чтобы анкета не разрасталась, каждый вопрос в ней должен появляться не из любопытства, а из ответа на вопрос: какую задачу исследования он решает и как тот или иной ответ повлияет на наши решения.

В этих случаях качественное исследование помогает собрать базовую информацию и позволит на следующем этапе сосредоточиться на деталях.

Выглядит это так. Заказчик берёт инсайт из качественного этапа («меня бесит вывод средств»), видит в результатах опроса одну страшную цифру — 56% пользователей указали, что их бесит вывод средств, и делает вывод: нам срочно надо идти чинить вывод средств, это главная причина ухода из продукта. Но мы такого не знаем. Мы не связали «бесит вывод» ни с поведением («ушёл из продукта»), ни хотя бы с намерением («я собираюсь от вас уходить, ищу альтернативы»).

Лечить это можно по-разному, но концептуально — через связь найденного пользовательского раздражения с чем-то ещё. С реальным опытом из жизни: на интервью человек говорит, что ушёл из прошлого банка именно из-за такого косяка. С поведением в продукте: его это бесит, поэтому он откатился до предыдущей версии или пользуется мобильной версией сайта вместо приложения.

Различать «бесит» и «критично» помогают количественные методы MaxDiff и Kano, но это уже более серьёзная история.

Это вообще непринципиально. Зачастую есть обратный эффект: опровергнуть гипотезу о чём-то плохом и рискованном — это хорошо. А подтвердить гипотезу о наличии чего-то плохого — наоборот, ощущается негативно. Но и то и другое полезно для бизнеса, ни того ни другого не стоит бояться.

Часто есть страх не сделать ни того ни другого — ни подтвердить, ни опровергнуть. Причин может быть много: неправильные вводные, не так сегментировали, не у тех или не тогда спросили. И дело не обязательно в методологии, иногда всё упирается в контекст, в том числе жизненный контекст самих респондентов.

Если все ваши гипотезы постоянно подтверждаются, это не маркер того, что вы всё знаете и исследования вам не нужны. Скорее это инсайт про вашу методологию: вы валидируете что-то своё или что-то просто упускаете из виду — сегмент аудитории, сценарий использования.

Качественного этапа достаточно, когда решение дешёвое и обратимое, условно переписать текст на экране. И когда задача — понять, а не выбрать.

Количественный этап обязателен, когда решение дорогое, когда нужно выбрать между вариантами и взвесить разницу между ними. И, честно говоря, когда результат надо защитить перед людьми, которые в интервью не верят.

1. Я знаю, что вообще спрашивать и у кого?

Нет → точно нужны интервью.

Да → есть шанс, что и без интервью будет нормально. Чаще всего это справедливо, когда гипотезы строят профессионалы области, а таким может быть и заказчик, и исследователь.

2. Что мне нужно понять: «что» или «сколько»?

«Что» — причину, механику → качественное.

«Сколько» — размер, долю, приоритет, сравнение вариантов → количественное.

3. Дорого ли стоит ошибка?

Дёшево и обратимо — хватит 10–15 интервью, в количественном этапе, скорее всего, нет необходимости → качественное.

Дорого, надолго, надо защищать перед скептиками — нужны цифры, чтобы придать вес инсайтам → количественное.