Как посчитать статистическую значимость на пальцах
Бывает, нужно понять значима ли разница в аб эксперименте, но посчитать ее на специальном калькуляторе несподручно. Я разобрался и нашел способ считать статзначимость в прямом смысле на пальцах.
Подписывайтесь на канал, чтобы не пропустить клевые лайфхаки и истории про пет-проекты.
Итак, есть данные эксперимента по дням или по часам для контрольной и экспериментальной групп.
Ключевой вопрос: экспериментальная группа действительно идет выше, или это случайность?
Чтобы понять это, делаем следующее:
Выкидываем дни, когда данные в эксперименте и контроле совпали. Остается 12 дней, потому что на четвертый день количество продаж совпало.
Считаем сколько дней экспериментальная группа отклонялась в нетипичную сторону. В нашем случае было 2 дня — восьмой и девятый — когда эксперимент показал себя хуже контроля. В остальные дни он шел лучше.
- Из количества дней эксперимента вычитаем 6 и делим на 3 с округлением вниз. Столько нетипичных отклонений можно допустить, но все равно достоверно считать, что разница значима. В нашем случае (12-6)/3 = 2. То есть для 12 дней эксперимента результат значим, если отклонений два или меньше. В этом эксперименте у нас только два отклонения — это значит, что эксперимент идет значимо выше контроля.
Приятная особенность этого критерия — его можно применять к любым метрикам: и к конверсиям, и к уникам, и к просто абсолютным величинам, например деньгам. Вместо дней можно брать часы или недели.
Если критерий говорит, что результат значим — этому можно доверять. Если говорит, что не значим, но субъективно кажется, что должен быть значим, то воспользуйтесь другими более мощными критериями.
У критерия есть ограничение: если эксперимент длился 5 дней или меньше, то критерий всегда скажет, что результат не значим. Но стоит ли оценивать эксперименты по пяти дням — большой вопрос.
Как это работает
Я использовал симметричный критерий знаков — он универсальный и прост в расчете. Для него есть таблица значений: при каком количестве данных сколько можно допустить нетипичных отклонений. Я приблизил эту таблицу формулой (n-6)/3. На графике видно, что формула достаточно точно повторяет данные из таблицы. Формула иногда разрешает чуть меньшее количество отклонений — это значит, что мы получили чуть более осторожный критерий.
Итого
Чтобы посчитать статзначимость на пальцах:
- Выкидываем дни, когда данные в эксперименте и контроле совпали.
- Вычитаем 6 и делим на 3 количество дней эксперимента.
- Если нетипичных отклонений меньше или равно этому числу — результат значим.
Другие прикольные темы в телеграм канале, не пропустите.
Удачных экспериментов вам
Достаточно одной ссылки на канал, незачем давать ее в начале и в конце.
Спасибо за статью!