Да, это действительно важный момент при A/B тестах, который требует более детального рассмотрения. Мы умышлено про это не стали писать в этой публикации, чтобы отразить это в следующей статье.
Мне кажется, после прочтения статьи к любого, кто не является специалистом по аб-тестированию, возникнет больше вопросов, чем ответов. В каких пределах должен быть коэффициент вариации? Что делать, если он выходит за эти пределы? Что дают описательные статистики?
Разве А/B-тесты применимы к иным распределениям кроме нормального?
Для тестирования интерфейсов с минимальной сегментацией по трафику вполне подойдет Optimizely. Там автоматически считается доверительный интервал и статистическая значимость. Для тестирований вручную (рассылок, например) можно использовать калькулятор Эвана Миллера. Статистические формулы и математику, лежащую в основе А/Б-тестирования, объяснил на пальцах Алексей Куличевский в своей платной рассылке.
Если мы говорим про оценку средних, то при достаточном кол-ве наблюдений данные будут распределены нормально. Если мы считаем метрики связанные с деньгами, то большой шанс того, что данные распределятся не нормально. Проверки на нормальность и тп дают вам уверенность в том, что выбранный вами метод будет подходить под те данные, которые вы анализируете. Если вы просто забьете данные в калькулятор предварительно их не изучив, вы рискуете принять решение о победители на случайном скачке.
«я не понимаю», «слишком сложно», «видел и в другом платном учебнике, там уж по понятней рассказали», «нее деньги, эт другое». Скоро вообще никто ничего нового писать не будет с такой реакцией публики... треш какой
И ни слова про планирование эксперимента.
Как мощности выборок посчитать, чтобы понять, что всё, уже достаточно данных, чтобы их чистить, обрабатывать и интерпретировать начинать?
Всё остальное то неважно, если данные недособрал.
Да, это действительно важный момент при A/B тестах, который требует более детального рассмотрения.
Мы умышлено про это не стали писать в этой публикации, чтобы отразить это в следующей статье.
Мне кажется, после прочтения статьи к любого, кто не является специалистом по аб-тестированию, возникнет больше вопросов, чем ответов. В каких пределах должен быть коэффициент вариации? Что делать, если он выходит за эти пределы? Что дают описательные статистики?
Разве А/B-тесты применимы к иным распределениям кроме нормального?
Для тестирования интерфейсов с минимальной сегментацией по трафику вполне подойдет Optimizely. Там автоматически считается доверительный интервал и статистическая значимость. Для тестирований вручную (рассылок, например) можно использовать калькулятор Эвана Миллера. Статистические формулы и математику, лежащую в основе А/Б-тестирования, объяснил на пальцах Алексей Куличевский в своей платной рассылке.
Если мы говорим про оценку средних, то при достаточном кол-ве наблюдений данные будут распределены нормально.
Если мы считаем метрики связанные с деньгами, то большой шанс того, что данные распределятся не нормально.
Проверки на нормальность и тп дают вам уверенность в том, что выбранный вами метод будет подходить под те данные, которые вы анализируете.
Если вы просто забьете данные в калькулятор предварительно их не изучив, вы рискуете принять решение о победители на случайном скачке.
«я не понимаю», «слишком сложно», «видел и в другом платном учебнике, там уж по понятней рассказали», «нее деньги, эт другое». Скоро вообще никто ничего нового писать не будет с такой реакцией публики... треш какой
ну читайте статистика.ру, кто вам мешает)))
Да, неподготовленному человеку где-то на середине статьи уже ничего не понятно становится))