Симбиоз кабинетных, качественных и количественных исследований для принятия решений
Эффективные продуктовые исследования - те, которые ведут к выгодным для компании инициативам или к обоснованному отсутствию изменений, что тоже хорошо. Для принятия взвешенных решений нужен комплексный подход к исследованиям: кабинетные, качественные и количественные вместе.
В кабинетных исследованиях вы не привлекаете респондентов, а анализируете рынок, испытываете ваш продукт и продукты конкурентов на себе, анализируете цифровой след пользователей. Вот такой может быть набор исследований для интернет-магазина:
- покупки в разных магазинах и анализ клиентского пути в них сотрудниками;
- изучение постов в социальных медиа, лучше с помощью специального инструмента, например, YouScan или Angry;
- статьи;
- оценки и отзывы в сторах, в регулярных опросах после покупки;
- анализ обращений, поступивших в обратную связь.
Ваш собственный список будет ограничен количеством доступных источников и ценностью данных в них. Эти исследования могут проводится вами под задачу или постоянно. Сделанные под конкретную задачу они дают хороший старт. Постоянные позволяют вам держать руку на пульсе. Если в процессе такого мониторинга вы натыкаетесь на что-то неожиданное, то это повод организовать качественное или количественное исследование. В М.Видео мы особенно внимательно подходим к мониторингу текущего опыта наших пользователей во всех каналах и собираем информацию из всех источников в один репозиторий. Репозиторий - структурированное хранилище найденных в нашем продукте UX-проблемах разной критичности. У нас он называется UX-карта, потому что информация привязывается к конкретному шагу CJM. Данные для UX-карты мы собираем с помощью специально организованных исследований и с помощью постоянного мониторинга.
Не все пользователи напишут вам сами, многое нужно спросить. Обычно мониторинг даёт понимание, что есть проблема, но не раскрывает все причины.
Качественные исследования нужны, чтобы узнать, как все происходит на самом деле и глубоко погрузиться в тему. С помощью качественных исследований вы получаете насыщенные данные: истории, причины поведения людей, мотивы и барьеры. Часто в компаниях, где во главу угла ставят цифры, этап качественных исследований пропускают или умаляют их значение. Например, вы наблюдаете необычное поведение пользователей и хотите узнать, почему оно такое. У вас может появится идея сразу провести количественный опрос. В результате вы по-прежнему не будете понимать происходящее, но теперь неясные инсайты будут выражены в процентах. Чтобы этого не произошло, не пропускайте и не ужимайте этот этап. Что вы можете делать:
- полевые наблюдения и включенные наблюдения, различаются они тем, что при включенном наблюдении вы не только смотрите, что делают другие люди вокруг, но и делаете это сами;
- глубинные интервью;
- дневниковые исследования;
- юзабилити-тестирования;
- немодерируемые юзабилити-тестирования, тест первого клика и другие;
- этнография, в этом случае беседовать с пользователями и наблюдать за ними вы будете на их территории, например, дома.
Список не исчерпывающий, это несколько популярных методов.
В качественных исследованиях полезно участвовать всей команде в качестве модераторов или наблюдателей. Это сближает команду и дает унести с исследования еще больше информации. Например, полевые исследования дают понимание важной составляющей пользовательского опыта - контекста. Так во время наблюдения часто приходят новые идеи. В случае с интернет-магазином вы можете отправиться на пункт выдачи товаров. Там вы будете наблюдать за пользователями, говорить с ними, думать, как пользователи, станете сами пользователем. Или посмотрите на вопрос с другой стороны и понаблюдаете за сотрудником, который выдает заказы.
После качественного этапа у вас есть много данных. Некоторые паттерны поведения или проблемы повторялись у разных респондентов, некоторые вы видели только раз. Если вам нужно просто знать о существовании проблемы, чтобы исправить ее, этого достаточно. Так бывает на юзабилити-тестированиях. Но мы помним, что даже если 12 из 12 респондентов в один голос говорят одно и то же, это не значит, что 100% пользователей столкнуться с теми же сложностями, инсайты с качественного исследования нельзя выразить количественно. Когда вы выясняете востребованность функции или расставляете приоритеты, вам нужно количественное исследование.
Количественные исследования помогают понять распространенность паттернов поведения, опыта и проблем в использовании продукта. Что вы можете делать:
- проводить опросы в интернете, по телефону, лично;
- использовать в опросах разные методы составления вопросов: семантический дифференциал, Кано, парное сравнение, карточная сортировка и другие релевантные задаче методы;
- запускать эксперименты;
- статистически обрабатывать полученные данные, данные систем аналитики.
Методов намного больше, выбирайте те, которые подходят под ваши задачи.
Кабинетные, качественные и количественные исследования не всегда следуют друг за другом в таком порядке. Может быть, вы проведете количественное исследование и увидите неожиданные результаты. Начнете задавать себе вопросы: А зачем пользователи так делают? Почему они так думают? Что они делают, что у них не получается? И тогда проведете качественное исследование, а потом у вас снова возникнет потребность в количественном опросе.
Результаты исследований можно по-разному включать в процесс принятия решений. Я использовала данные исследований для уточнения экономических моделей, прогнозировавших выручку от инициатив. Это повышало точность предсказаний, а в некоторых случаях было решающим фактором. Допустим, вы выбираете между вариантом А и вариантом Б, неопределенность настолько высока, что расчеты пересекаются. Тут вы добавляете в формулу процент пользователей, столкнувшихся с проблемой, которую вы решаете, и приходит ясность. Уточнение расчетов полезно, когда нельзя быстро запустить и проверить инициативу. Например, изменение салона во всех самолетах авиакомпании.
Может оказаться, что инициативы, которые кажутся правильными и положительно влияют на клиентский опыт, не приносят денег компании и даже не растят метрики вроде retention. Это нормально, значит, вы сфокусировались не на том, и самое время исправиться. Если вы исследователь и расчет инициативы делает команда без вас, то выясняйте его результаты, обратная связь - основной источник обучения и тренировки интуиции. А еще вы можете вовремя подсказать, что не все эффекты учтены в расчете.
Не каждую идею, направленную на улучшение клиентского опыта, имеет смысл считать отдельно. Некоторые вместе принесут ощутимый эффект, а по-отдельности ничего не дадут. Можно оценивать совокупный эффект от улучшения клиентского опыта и анализировать, какой вклад внесет в это улучшение каждая инициатива. В М.Видео-Эльдорадо для этого мы используем карту, о которой я писала выше. Она показывает нам влияние конкретной доработки на изменение клиентского опыта: одна инициатива может решать несколько критичных и высокочастотных проблем сразу и заодно проблемы низкой и средней критичности.
Задачи исследований в компании - уменьшение неопределенности, прогнозирование, снижение рисков от неправильных решений, поиск зон роста. Чем больше бизнес верит в исследования и использует их, тем больше ответственность за точность их результатов и возможности их применения. Мы понимаем, что 100% точности не достичь, но комплексный подход делает нас ближе к ней.