Что я понял, проведя 350+ A/B-тестов в интернет-магазинах
Всем привет, меня зовут Капитон, я сооснователь и генеральный директор сервиса Popmechanic.io. Он помогает увеличивать выручку интернет-магазинов, количество собираемых email’ов, персонализирует сайты с помощью попапов и встроенных блоков без привлечения вашего IT. В этой статье я поделюсь:
По поводу среднего чека и про то что он не подчиняется нормальному распределению.
Тут, как мне кажется, спутанно несколько вещей. Сужу исключительно с точки зрения статистики.
Когда мы говорим о распределении вероятности конверсии мы имеем виду распределение выборочных конверсий. Которые подчиняются нормальному распределению в силу центральной предельной теоремы, а не в силу природы конверсии. Природа конверсии такова, что она подчиняется распределению Бернулли.
Распределение чека действительно не подчиняется нормальному распределению, а вот выборочный средний чек подчиняется, опять-таки в силу цпт. (Если только отдельные акты покупок сильно не связаны между собой).
Поэтому немного не понял, почему нельзя проводить ab тесты со средним чеком
Исмаил, все так. Действительно – распределение конверсии биномиально. Просто оно стремится к нормальному при большом количестве испытаний. В интернет-магазинах обычно результат проявляется на не менее тысячи, а чаще десятке тысяч испытаний, поэтому решил не усложнять эту статью такими подробностями и использовать более известные формулировки ввиду того, что это не меняет главной сути.
А по поводу среднего чека, заставили задуматься. Моя чуйка все равно топит за не нормальное распределение. Решил не углубляться в философские размышления и взял выборку по юзерам (то есть там уникальные юзеры, а не покупки, значит между собой события не связаны) с чеками по эксперименту из примера в данной статье (где скриншот с Оптимайза) и увидел подтверждение, что все же небиомиально распределено. Действительно больше похоже на гамма-распределение.