Гипотеза в A/B тестировании: как оценить результаты и избежать ошибок
Разбираем вопрос про гипотезу. Если пропустили, сначала прочитайте и дайте свой ответ в опросе👆🏻
100% правильного ответа в списке вариантов не было. Я сделал это специально, чтобы вы задумались и запомнили — не всё так однозначно в принятии продуктовых решений. Даже на основе A/B тестирования 😉
Давайте разберемся с каждым вариантом ответа отдельно.
📉 Статистически значимый отрицательный эффект по ключевой метрике. Да, это является чётким сигналом, что гипотеза провалилась, если расчетное время теста было равно 1 неделе и это не был ухудшающий эксперимент, когда мы специально добивались негативного эффекта на метрику. А ещё, мы проверили, что всё работает как надо и это не техническая ошибка. Большинство выбрали этот вариант ответа 👍🏻
➖ Нет статистически значимых изменений по ключевой метрике. Это вариант сложнее. В ответе ничего не сказано про эффекты на другие метрики. Да, у A/B теста кроме целевой, есть ещё много других. Кроме количественного анализа любой эксперимент ещё стоит рассмотреть в плоскости обратной связи от пользователей, влияния на бизнес и долгосрочной стратегии продукта. Я об этом не писал, если у вас возникли вопросы — поздравляю, вы на правильном пути!
🙃 Команде просто «не нравится» результат. Выглядит как вариант, который я добавил just for fun. Но в реальной работе такие ситуации случаются довольно часто. Вы сделали что-то спорное, фичу в которую не все в команде верят. Эти ребята будут активно использовать первый и второй вариант для подтверждения своей позиции. Конечно, это не повод считать гипотезу проваленной, но поговорить на эту тему придется.
💬 Есть негативные комментарии от пользователей. Ну, во-первых, они есть всегда. Эффект новизны, привычка, особенности восприятия… Здесь нужно разбираться в каждом конкретном случае отдельно. Также сильно зависит от того, сколько у вас пользователей и какая часть из них недовольна изменениями.
📆 Прошла неделя, и хочется уже что-то новое тестить. Смешно? Практически никто не выбрал этот вариант. А если честно? Это может быть дополнительным аргументом чтобы откатить изменения (ещё хуже оставить как есть) и переключиться на что-то более интересное. Видел такое не раз.
🏢 Бизнес решил, что «продакты опять делают фигню». Опытные 6% продактов знают, что так бывает. Вы начали тестировать новую гипотезу с небольших изменений, которые не принесли результатов за неделю теста. «Ну я же говорил!» — заявляет вам стейкхолдер на очередной встрече. И вот ваша команда уже делает очередную фичу, которую очень просит 1% ваших клиентов…
Подписывайтесь на Telegram Продукторий Владимира Меркушева.