Как я выбираю метрики для А/В тестирования?
Меня зовут Алина Загидуллина, сейчас я руководитель всех digital продуктов в огромной сети коммерческих медицинских клиник «РЖД-Медицина», а в прошлом работала в стратегическом маркетинге VK. В этой статье поделюсь, по какому принципу я выбираю метрики для проведения А/В тестов.
A/B тестирование — это метод исследования, который используется для оценки эффективности изменений в продукте.
В рамках A/B тестирования две или более версии продукта показываются случайным образом разным группам пользователей, и затем сравниваются результаты использования каждой версии. Чтобы на основании результатов А/Б теста можно было принимать решения, крайне важно изначально правильно выбрать метрики, которые будут оцениваться.
Представим, что мы работаем в компании, которая предоставляет онлайн-консультации с врачами. Целью нашей компании является повышение удовлетворенности пользователей и увеличение количества консультаций. Для этого мы решили провести A/B тестирование, чтобы определить, какие изменения могут улучшить наш продукт.
Гипотеза: Добавление возможности чата с врачом перед самой консультацией позволит пользователям задать предварительные вопросы, убедиться, что этот врач лучше всего подходит для них, и приведет к росту удовлетворенности пользователей и повышению конверсии на страницу записи на прием.
Мы разделили пользователей на две группы: группу A и группу B. Группе A мы предложили стандартный процесс оформления консультации, а группе B мы добавляем возможность чата с врачом.
Как же все-таки выбрать правильные метрики для измерения успеха такой новой фичи?
1. Определите бизнес-цели
Первым шагом при выборе метрик для A/B тестирования является определение бизнес-целей. Что вы хотите достичь с помощью тестирования? Какие показатели будут говорить о том, что вы достигли своих целей? Это может быть повышение конверсии, увеличение времени нахождения на сайте, увеличение количества заказов и т.д.
Что актуально для нашего примера?
Увеличение удовлетворенности клиентов
Добавление чата с врачом позволит клиентам получить более быстрый и удобный доступ к необходимой медицинской информации. Это может привести к повышению удовлетворенности клиентов и укреплению лояльности к продукту.- Повышение конверсии
Быстрый и легкий доступ к медицинской информации привлечет клиентов, которые решат воспользоваться услугами телемедицинских консультаций. - Увеличение среднего чека
Чат с врачом поможет клиентам быстро получить медицинские рекомендации и консультации. Вырастет и качество услуг, и средний чек. - Повышение уровня доверия
Добавление чата с врачом позволит клиентам получить дополнительную информацию о продукте и услугах. Общение с реальным человеком повысит уровень доверия.
2. Выберите основные метрики продукта
После определения бизнес-целей необходимо выбрать основные метрики, которые будут использоваться для оценки результатов тестирования. Например, если вашей бизнес-целью является увеличение конверсии, то основной метрикой будет количество выполненных действий (например, количество покупок или подписок на рассылку).
Какие метрики можно выделить для нашего примера с телемедицинскими консультациями:
Конверсия: покажет, сколько пользователей, посетивших сайт, проходят регистрацию и начинают пользоваться сервисом.
Количество консультаций: покажет, насколько успешными стали изменения в продукте.
Количество повторных консультаций: покажет, насколько успешно мы сохраняем пользователей после первой консультации.
- Уровень удовлетворенности пользователей: позволит измерить, насколько пользователи довольны услугами компании. Мы можем провести опросы или использовать систему обратной связи для получения данных
3. Учитывайте контекст
При выборе метрик необходимо учитывать контекст
Например, если вы изменяете цвет кнопки "Купить", то не стоит ожидать значительного увеличения количества продаж. Однако изменение текста на странице может значительно повлиять на конверсию.
4. Определите вспомогательные метрики
Вспомогательные метрики помогают глубже понять результаты тестирования и выявить причины изменений. Например, если вы изменили текст на странице, то вспомогательная метрика — количество просмотров страницы или количество кликов по кнопке "Купить". Эти метрики помогут понять, почему произошли изменения в основной метрике и какие именно изменения привели к улучшению результатов.
Пример с телемедицинскими консультациями:
Среднее время нахождения на странице продукта
Если пользователи проводят мало времени на странице, значит чего-то не хватает: неудачный дизайн или недостаточно информации о продукте.Среднее время ответа в чате
Если среднее время ответа слишком высокое, вероятно есть проблемы в организации работы врачей.
- Количество пациентов, которые использовали чат
Если количество пользователей слишком низкое, следует поработать над позиционированием или доступностью услуги. - Количество вопросов на консультацию
Если клиенты задают слишком много вопросов, значит есть какие-то проблемы с информационными материалами: либо они некачественные, либо непонятно, как ими пользоваться. - Соотношение позитивных и негативных отзывов
Если отрицательных отзывов значительно больше, нужно разбираться, чем именно людям не нравится новая функция.
5. Избегайте избыточности
Не собирайте в кучу все метрики, которые приходят вам в голову, — в итоге будет сложно анализировать результаты. Выбирайте только те метрики, которые напрямую отражают изменения, внесенные в тест.
6. Учитывайте временные ограничения
Некоторые метрики могут требовать длительного времени для оценки результатов тестирования. Например, если вы проводите тест на увеличение количества повторных консультаций, то результаты будут значимыми только через несколько недель. Поэтому необходимо выбирать метрики, которые можно оценить в течение разумного времени.
7. Оценивайте статистическую значимость
Для оценки статистической значимости можно использовать специальные онлайн-инструменты. Если результаты тестирования не достигают статистической значимости, то выбранные метрики могут быть недостаточно чувствительными для оценки результатов тестирования.
Примеры калькуляторов:
8. Измеряйте воздействие на пользователя
Некоторые метрики могут быть сильно зависимы от поведения пользователей и не отражать реальную эффективность тестируемой стратегии. Например, количество просмотров страницы выросло после запуска рекламной кампании, а не из-за изменений на странице.
Рекламные кампании могут привлекать новых пользователей и повышать количество консультаций.
Некоторые продукты зависят от сезонности. Например, в зимний период спрос на консультации выше, чем в летний.
Глобальные изменения тоже влияют на результаты. Например, если происходит эпидемия, спрос на консультации будет расти без вашего вмешательства.
Если у конкурента появится более привлекательное предложение, какая-то часть клиентов вероятно уйдет туда.
Неправильный выбор метрик может привести к неверным выводам о эффективности тестирования и ошибкам при принятии стратегических решенияй. Важно помнить, что A/B тестирование – это не единственный способ оптимизации продукта, а всего лишь один из инструментов, которые могут помочь улучшить его эффективность.
Сталкивались ли вы с ситуациями, когда ошибки при выборе метрик приводили к печальным последствиям для бизнеса?
Как решали проблему? Поделитесь опытом в комментариях.
Как учиться проводить А/Б тестирования?
Правильный выбор метрик — половина успеха.
Единых метрик, которые можно было бы брать для любого продукта, не существует, но принцип выбора мы разобрали. Теперь важно понять, как проводить полноценные тестирования.
В общих чертах про это рассказывает Михаил Карпов, основатель онлайн-университета IT профессий ProductStar в статье A/Б тесты — что это такое и как проводить?
В целом навык тестирования гипотез и проведения А/Б тестов — одна из задач Middle продакт-менеджера.
Мы учим этому на второй ступени курса “Профессия: продакт-менеджер” и на первой ступени курса “Профессия: Middle & Senior продакт-менеджер”
О том, чем еще должен (и главное — чем не должен) заниматься продакт и какими инструментами он для этого пользуется рассказали в статье Инструменты продакт-менеджера: чем продакты пользуются каждый день