Целевая метрика для A/B тестов: как выбрать правильные показатели
Разбираем вопрос про метрику для эксперимента. Во-первых, обратите внимание, что вопрос был про целевую метрику. Она действительно должна быть одна — по её текущему значению мы рассчитываем количество необходимых пользователей в группах и считаем доверительные интервалы.
Делать выводы о результатах эксперимента, конечно, нужно по нескольким метрикам. Их мы добавляем во вспомогательные (supportive/secondary) метрики. А также определяем контрольные (health) метрики. Они не участвуют в расчете длительности A/B теста, но важны для правильного анализа результатов.
📌 Средний чек — очень плохая целевая метрика. Вообще что-либо среднее редко является хорошим показателем при проверке гипотез. В этом примере влияние нового текста пуша на средний чек вы точно не сможете измерить.
📌 CTR пуша или доля тех, кто получил уведомление и открыл приложение — правильный вариант ответа. 40% его и выбрали. Это быстрая метрика, которая сразу показывает как меняется поведение пользователя от изменения. Но это не единственный правильный ответ 😉
📌 Доля пользователей, которые сделали полезное действие в приложении, например, посмотрели условия открытия счёта — хорошая целевая метрика. Она отражает и качество текста пуша, и его эффективность для нас как для бизнеса. Это правильный ответ.
📌 4 вариант ответа это вариация 3. Он хуже, ведь мы исключаем из эксперимента всех пользователей, которые получили и (возможно) прочитали уведомление, но ничего не сделали. Для такого эксперимента это плохая целевая метрика. Интересно, что её выбрало больше человек, чем 3 вариант. Напишите в комментариях, если выбрали, ваши рассуждения.
📌 Retention — хорошая вспомогательная метрика, но плохая целевая. Она медленная. И на неё влияет много других факторов, которые могут иметь более сильное влияние, чем изменение текста сообщения.
Важная метрика здоровья здесь — доля пользователей с включенными пуш уведомлениями. Нам важно следить за этим уровнем, это важный канал коммуникации с пользователями.
Подписывайтесь на Telegram Продукторий Владимира Меркушева.