Ускоряем запуск продукта: количественные исследования, которые помогут бизнесу

Практика Discovery — часть большого red_mad_robot — работает над сложными проектами: помогает запускать новые бизнесы, проверяет гипотезы продуктов и отдельных фичей, разрабатывает стратегии выхода на высококонкурентные рынки, поэтому для нас важны точность данных и глубина анализа.

Независимо от глубины и сложности, количественные исследования применяются везде: при создании продуктов, проверке спорных гипотез, проведении внутренних опросов. Чтобы быстро и качественно решать задачи, мы развили собственную экспертизу и подобрали удобные инструменты для исследований. Рассказываем на примере реальных кейсов, как собрать анкету для тестирования, провалидировать ценностные предложения, сформировать репрезентативную выборку и почему мы проводим опросы на платформе Fabuza.

Мы собрали бенчмарк из восьми важных для нас критериев при выборе инструментов для количественных исследований:

Ниже приведем таблицу со сравнением сервисов по всем критериям, а пока расскажем, какие задачи решают количественные исследования и как их правильно проводить.

На одном из проектов, после серии кабинетных исследований, мы выдвинули гипотезу, что новое решение будет востребовано у широкой аудитории приложения банка. Однако гипотеза оказалась спорной, и мнения разделились. Глубинные интервью показали, что потребности пользователей зависят от их финансовой грамотности, поэтому подходы к реализации для разных групп должны отличаться.

Мы выделили пять портретов аудитории — по общим паттернам поведения. Чтобы определить на какую группу ориентироваться в первую очередь, нужно было узнать долю каждого портрета среди всей аудитории приложения. Для этого мы провели количественное исследование.

Сбор данных

Выборка

Мы сформировали три приоритетных сегмента пользователей, соответствующих стратегическому фокусу банка и провели опрос среди них. Важно помнить, что портрет — не равно сегмент: мы сегментировали пользователей по доходу, а портрет выделял группы людей на основе общих паттернов поведения.

Для репрезентивного распределения респондентов по сегментам, выбрали такой путь:

Результаты опроса отражают мнения большинства в рамках репрезентативной выборки по сегментам.

Механика опроса

Первичное распределение: каждая карточка портрета содержит набор характеристик (пример — в схемах ниже). Конечно, респонденты не хотят подробно изучать карточки и предпочтут просто не отвечать, соответственно, мы не получим достаточно данных. Поэтому для упрощения взаимодействия мы использовали User Story — описывали задачи с точки зрения пользователя по трём ключевым элементам: кто (роль/категория пользователя), что (цель/действие) и зачем (желаемый результат). Так мы дифференцировали портреты, немного адаптировав User Story, чтобы формулировки лучше описывали пользователей.

Верификация распределения: дополнительная проверка самоопределения респондентов — предлагаем оценить по десятибалльной шкале ключевые потребности и боли для выбранного портрета. При оценке в пять баллов и меньше, респондент переходит к портрету на уровень ниже. Когда и здесь получаем низкие оценки — предлагаем посмотреть ещё один портрет — на уровень выше изначального. Если все оценки по каждому из портретов меньше или равны пяти баллам, значит выбранные потребности не соответствуют респонденту. Преобладание таких случаев говорит, что исследование нужно провести повторно.

Количественный опрос помог нам определить долю каждого портрета среди аудитории мобильного банка, выбрать приоритетные группы пользователей и адаптировать стратегию под их потребности. Так бизнес смог направить усилия и ресурсы на привлекательные для него сегменты, создавая максимально востребованные решения.

Чтобы вам было удобнее проводить опросы, делимся полезным чек-листом, в котором собрали все важные этапы создания опроса: от организации процесса до формулировок вопросов.

📎 Чек-лист как создать хороший опрос

После серии глубинных интервью с предпринимателями наша начальная гипотеза — потребности бизнеса в банковских продуктах отличаются в зависимости от отрасли — не подтвердилась. Зато выяснилось, что продукты и сервисы банков часто не отвечают запросам малого бизнеса. Мы выделили такие продукты-локомотивы, доработали с учётом инсайтов и сформулировали шесть ценностных предложений. Осталось понять, чтобы снизить риски — с каким предложением эффективнее выйти на рынок.

Когда цена решения очень высока, не стоит полагаться исключительно на мнение экспертов, даже если их суммарный опыт в отрасли превышает столетие. Если можно валидировать предположения на потенциальных клиентах, всегда делайте это.

Итак, у нас шесть ценностных предложений. Как спроектировать исследование, которое поможет принять обоснованное решение? Мы проверяем ценностные предложения несколькими инструментами, один из них — быстрый опрос потенциальной аудитории продукта.

Соберите выборку: респонденты должны быть вашими потенциальными клиентами

Сформулируйте ценностные предложения: коротко, ёмко, простым и понятным языком.

При формулировании ценностных предложений важно учесть три условия:

Определите метод оценки

Из множества методов — оценка по шкале, матричный анализ, ранжирование с прямым или параллельным сравнением, conjoint-анализ, А/Б тесты — мы использовали шкалу Лайкерта из пяти пунктов и прямое ранжирование предложений. Так можно оценить уровень интереса респондентов (или его отсутствие) к ценностному предложению. Шкала простая для восприятия, а полученные данные легко интерпретировать.

Предлагали такие варианты ответов:

В Fabuza можно настроить шкалу с любым количеством пунктов и вариантов ответов, а также ограничить выбор только одним вариантом ответа («Сделать ответ исключающим»).

Дополнительно спрашивали, какое предложение заставит предпринимателя сменить банк обслуживания. Можно было выбрать не более трёх вариантов ответа. Ранжирование помогает выявить предпочтения в явной однозначной форме.

Разместите описание сути задания: в начале страницы перед формулировками вопросов

Например: посмотрите на описание шести различных банковских предложений и оцените степень заинтересованности в каждом из них по шкале от 1 до 5, где 1 – «Совершенно неинтересно, точно не воспользуюсь», а 5 – «Очень интересно, обязательно воспользуюсь».

Если предлагать респондентам по одной формулировке на странице, нужно включить рандомизацию вопросов — формулировки будут выводиться в случайном порядке, чтобы снизить возможные искажения.

В конструкторах анкет можно включить рандомизацию для случайного вывода вопросов или вариантов ответов. Также рандомизация может называться «ротацией» (rotation), «перемешиванием» (shuffling), «случайной сортировкой» (random sorting).

Анализ результатов: когда ответы собраны, можно приступать к анализу.

Обычно инструменты визуализации результатов встроены в платформу для исследований. Если требуется более сложный анализ, например, сравнение данных в разрезе сегментов — можно выгрузить файл XLS и собрать кросс-таблицы, чтобы выявить связи между двумя и более параметрами.

Важно помнить, что при анализе в разрезе сегментов растёт ошибка выборки, так как респондентов в сегменте меньше, чем всех участников опроса. На этапе проектирования дизайна исследования лучше использовать онлайн-калькулятор для определения приемлемых размеров сегментов.

По итогам анализа: для выхода на рынок было выбрано сразу три ценностных предложения для целевых сегментов. Банк запущен летом 2023 года и успешно работает для малого и среднего бизнеса Казахстана. Так количественная валидация помогает при оценке привлекательности ценностных предложений и для быстрой проверки идей или гипотез.

В наших проектах мы часто используем методологию Кано, чтобы узнать, какие функции продукта сильнее всего интересуют и повышают удовлетворенность пользователей. Методология помогает понять, какой функционал стоит развивать в первую очередь, а что можно вообще не делать или добавить значительно позже. Однако эффективность этого инструмента зависит от корректного сбора данных и правильной интерпретации результатов, ошибки на этих этапах могут привести к неверным выводам во всём исследовании.

Где и как собирать данные?

Для тестирования фичей мы выбрали платформу Fabuza из-за возможности тонкой настройки метода. На рынке есть и альтернативные решения: от коробочных до бесплатных, отечественные и зарубежные, но возможностей для кастомизации больше всего в Fabuza И вот зачем это нужно.

Подготовка текстов анкеты или как донести до респондента свою мысль?

Прозрачное и понятное для респондентов описание фичей — первое и важное условие успеха. Наша команда выработала несколько правил:

Дизайн анкеты или как упростить жизнь респонденту?

Наш подход к дизайну анкеты:

Итог

Тестирование функций по методологии Кано — мощный инструмент для понимания потребностей пользователей и принятия обоснованных продуктовых решений. Однако успех зависит от тщательной подготовки анкеты и правильного сбора данных. Уделив внимание деталям и следуя приведенным рекомендациям, вы сможете эффективно использовать метод Кано в своих исследованиях.

В red_mad_robot много отдельных команд и практик, и для каждой мы проводим внутренние опросы. Команда Discovery пришли к HR с собственной экспертизой, инструкциями и чек-листами, чтобы улучшить этот процесс.

Так мы отказались от стандартных форм, где можно собирать только прямые опросы и перешли на платформу Fabuza — тут есть развилка по направлениям ответов, можно выстраивать логику опросов и получать больше данных для исследований. За несколько коротких встреч ребята из Discovery рассказали о правилах формирования вопросов и ответов в анкетах, чтобы отклик респондентов был максимально точным. Благодаря этому мы повысили процент заполняемости анкет, а ответы в них стали более релевантными.

За всё время работы мы попробовали несколько решений для проведения количественных исследований. И около года назад выбрали Fabuza в качестве основного инструмента. Чтобы сделать правильный выбор, мы сравнивали разные платформы по ключевым для нас критериям. Бесплатные сервисы, такие как Google Forms, не рассматривались, так как они не отвечали нашим требованиям безопасности.

Всего было восемь критериев:

Задачи и механики их решения могут быть совершенно разными. Важно, чтобы они оптимизировали ресурсы и время и давали качественный результат. Поэтому мы выбираем универсальные инструменты для исследований, которые позволяют решать сразу несколько задач и приносят пользу для бизнеса.

Над материалом работали:

Чтобы ничего не пропустить, следи за развитием цифры вместе с нами: