Ничего революционного. Чтобы убедиться, что случайность не случайна, перед проведением А/В теста проводят А/А тест. Т.е. копируется страница и тестируется приходит ли на 2 варианта одной страницы аудитория одинакового качества. Если разница на уровне статпогрешности, то можно делать А/В тест. Если разница заметна, то на А/В тестирование можно не тратить время. Подробней об этом писали Oh My Stats http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/
Ничего революционного. Чтобы убедиться, что случайность не случайна, перед проведением А/В теста проводят А/А тест. Т.е. копируется страница и тестируется приходит ли на 2 варианта одной страницы аудитория одинакового качества. Если разница на уровне статпогрешности, то можно делать А/В тест. Если разница заметна, то на А/В тестирование можно не тратить время. Подробней об этом писали Oh My Stats http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/