Даже не вдаваясь в конкретику, очевидно, что байесовский механизм дает ответы на более прямые вопросы, такие как:
Какова вероятность, что А лучше B? (сравните с хитромудрым p-value, о котором мы говорили выше) Если мы объявим B победителем, а на самом деле эта вариация проигрышная, насколько мы просядем по конверсии?
Кроме того, этот механизм умеет считать новый вид “доверительного интервала”, который в математических терминах называется “областью наибольшей апостериорной плотности” (Highest Posterior Density Region (HPDR)). Это закрывает довольно очевидный запрос, а именно: обозначьте мне интервал конверсии, в который с 95% вероятностью попадает реальный коэффициент конверсии.
Сторонники частотного подхода в статистике тоже часто используют термин “доверительный интервал”, вот только для них он означает примерно следующее: “если бы мы повторили тест много раз и для каждого случая высчитывали собственный доверительный интервал, то в 95% случаев реальная конверсия попадала бы в этот интервал”. Как вам такое объяснение? Интуитивненько? 🙂
Давайте рассмотрим оба фреймворка в сравнении: