Что я понял, проведя 350+ A/B-тестов в интернет-магазинах
Всем привет, меня зовут Капитон, я сооснователь и генеральный директор сервиса Popmechanic.io. Он помогает увеличивать выручку интернет-магазинов, количество собираемых email’ов, персонализирует сайты с помощью попапов и встроенных блоков без привлечения вашего IT. В этой статье я поделюсь:
А почему данные в калькуляторе, на который ты дал ссылку и данные в гугловой таблице не сходятся? :)
Ну вот например, у меня 1000 сеансов и 50 и 31 конверсия
Онлайн калькулятор показывает что есть ощутимая разница - https://cln.sh/zqmvPH
При этом таблица показывает что разницы нет - https://cln.sh/Web4jj
Доверительный интервал разницы отрицательный
Ладно, сам отвечу на свой же вопрос :)
Ты неверно трактуешь выводы из результата доверительного интервала разницы. Ты говоришь: "Интепретация: улучшение в конверсии с вероятностью 95% лежит в промежутке от -2,4% до 1,4%. То есть улучшение может быть 0, а то и отрицательной. Так как мы с вами разумные маркетологи, и нам нужна только положительная разница, делаем вывод: разницы между вариантами нет."
Это не правильно. Минус показывает не отрицательный результат конверсии. По факту тут если вот этот интервал доверительного интервала разницы НЕ ВКЛЮЧАЕТ в себя ноль, то мы можем утверждать, что изменение статистически значимое. Если же интервал включает 0, то статистической разницы нет.
Спасибо за вопрос с подковыркой, сам удивился. Но потом осознание все же посетило:
– в моей табличке первая строка – всегда исходный вариант, вторая строчка сравнивается с ним. Получается, что вариант Б лучше А на минус сколько-то там. А-ля российская экономика демонстрирует отрицательный рост! У тебя получилось, что "улучшение" целиком лежит в отрицательном диапазоне.
– в калькуляторе сделано по-человечески и человеку понятным языком выводится результат. Что вариант А лучше Б на + сколько-то. А не наоборот :)