Самые критичные ошибки в исследованиях, которые к самому исследованию отношения не имеют.

Если вы работаете в крупной компании и у вас есть штатные исследователи, это становится совсем забавным. У вас есть люди, которые действительно умеют делать исследования, и у вас есть все инструменты, чтобы исследования делать. Вам не надо гуглить, вам не надо читать талмуд «Спроси маму». Вы просто ставите задачу.

И вот вы получаете такой качественный, объективный результат исследования — который, как потом оказывается, не имеет никакого отношения к делу. Отчет, на основе которого вы инвестировали, делали продуктовые ставки…. ииии лучше бы не было этого отчета. И исследователи не виноваты.

Как так?

Я – продакт корнями из крупного B2B маркетинга, и это важно потому что продакт – это человек, которому исследования нужны нон-стоп, маркетологи – это люди, натренированные видеть в пользователях людей, а крупный B2B – потому что в нем есть критичное разнообразие паттернов и сценариев потребления, и вообще видно, что в одной компании с одним продуктом работают люди, с которыми надо по-разному разговаривать. А ещё у меня есть телеграм-канал Семейка Продактов.

Как бывшему маркетологу, мне порой видно, насколько продакты «просто смотрят в данные». И проблема с этим только одна. Мы смотрим в существующие данные, а там нельзя увидеть то, чего нет.

«Нашим пользователям нравится интерфейс, нравится то, как мы развиваем продукт. Вот только мы почему-то перестали расти.»

Чего в этой картине нет? Почему улучшения идут, а рост стагнирует? В этой картине просто нет тех самых пользователей, которым мы даем плохой продукт, и за счет которых мы не растём, хотя могли бы.

И вот здесь нужно расщепить мозг и осознать, что пользователи, которых мы видим в статистике – это очень часто «ошибка выжившего». Потребность, которую вы решаете, может быть у куда большего количества людей, вот только вас выдержали не все.

Как если у вас кофейня, и к вам ходят только те, кто пьёт кофе по утрам, с 9 до 10. Потому что открываетесь вы рано, но кофе у вас так себе. И инет не ловит.

Ну и смысл спрашивать о проблемах тех, кто пьёт у вас кофе только с 9 до 10?

Есть жирный шанс, что они не сильно критичны к качеству кофе и, конечно, имеют много важных причин, почему после 10 кофе не нужно, а инет вообще зло. А хотят эти люди от вас, чтобы в зале играло «Радио Маяк».

Но вернемся к исследованиям.

Если вы попросите сделать опрос пользователей – для вас разошлют опрос. И вы получите ответ. От рандомной группы людей. Той, которую легче всего собрать – но заранее вообще невозможно предсказать, кто это будет.

Кстати, это та самая ошибка, которую делают, стартуя исследования для своих проектов. Да, сразу снимаю шляпу, что решили запускаться не только по чуйке – но ребят, нет смысла кидать опрос на своих друзей и в свои соцсети, если там нет вашей целевой аудитории. Да, друзья подпишутся потом на ваш продукт – но друзей нельзя масштабировать.

Людям вообще нравится разное, всем понравиться невозможно.

Мы с соавтором Семейки продактов читаем одни и те же каналы, но то, что для меня – захватывающе, для него занудно. И наоборот. А у нас огромный общий бэкграунд, казалось бы.

В общем, перед тем, как делать любое исследование, надо понять целевую аудиторию.

Кого именно вы хотите послушать? Редких пользователей? Частых пользователей? Авторов? Зрителей? Бухгалтеров? Программистов? С детьми? Без детей?

«А мы сделаем отдельные вопросики про это – и всё сразу будем знать», - скажете вы мне. И это будет фаталити. Если вы это делаете, считайте, что вы уже потеряли контроль над исследованием. Ибо поздно.

Для того, чтобы результаты исследования были применимы в работе, все те целевые группы, которые вам важны, должны быть репрезентативными. То есть, если вы положитесь на соцдем, или на «мы раскидаем по очень большой базе, и наберётся», ничто не гарантирует ситуацию, в которой критично важный вам в реальности сегмент будет представлен 1-2 людьми.

Ярче всего это показать на примере исследования, когда мы хотим увидеть разные группы по частоте использования продукта.

Постоянных пользователей вы наберёте мгновенно, их много в продукте и они с радостью с вами пообщаются.

Редких будете собирать недели (они же редко заходят и не очень хотят с вами разговаривать).

А собрать большое количество не-пользователей – это убиться об косяк. Как искать-то? Они же вами не пользуются.

Понятно, что в реальности для поиска не-пользователей нужно использовать внешние сервисы и иметь дополнительный бюджет, но об этом нужно знать заранее.

То есть, четкое понимание целевой аудитории нужно обязательно сформировать ДО опроса.

Какая еще ошибка может стать судьбоносной и все испортить?

Привязанность к конкретному методу исследования. В этом очень показательны продакты, которые часто начинают исследование со слов «нам нужно сделать опрос/интервью/кликтест».

А как надо?

Надо сформулировать наши предположения текстом, написать буквально, что мы хотим проверить и какие данные ищем – и уже после этого решать, как именно проверить.

Если этот этап проскочить, то наша психика как-то так устроена, что мы просто используем самый привычный для нас вид исследования.

И можем, например, запустить юзабилити- интервью (созвон, где пользователь взаимодействует с интерфейсом продукта) там, где нужен клик-тест (количественное исследование, люди получают задание и кликают на картинки). Или, например, мы пытаемся разобраться с причинами проблемы, используя опрос (количественный метод) вместо интервью (качественное исследование, на котором люди рассказывают о причинах, но много их не проведёшь).

Я помню далеко не одну ситуацию, когда тактика исследования кардинально менялась после того, как я описывала гипотезы, с которыми работала, и которые нужно подтвердить или опровергнуть.

Что ещё?

Перед запуском любое исследование надо протестировать. Произвести одно-другое тестовое интервью, мини-рассылку опроса «для своих».

Вот вы сейчас мне скажете, что всё это очевидно, но очевидно это только задним числом. Поверьте, у вас будет гигантский соблазн всё сделать без теста. «Ну всё понятно же, мы на анкету неделю потратили». Сам посмотрю перед рассылкой.

Но я не видела ни одного теста, в результате которого не нашлись бы ошибки, разночтения, отсутствующие вопросы, непонятные формулировки. Ваш глаз к моменту рассылки настолько замылится, что вы даже большой косяк можете пропустить.

В общем, три поинта для успеха:

1. Определить целевую аудиторию, и сделать это «До». Думайте о пользователях, как живых людях, это поможет.

2. Запишите гипотезы, и подумайте, как их правильнее всего проверить. Не хватайтесь за то, что первым вспоминается.

3. Тестируйте исследования перед запуском.

Всем только крутых продуктов и успешных успехов.