Как посчитать статистическую значимость на пальцах

Бывает, нужно понять значима ли разница в аб эксперименте, но посчитать ее на специальном калькуляторе несподручно. Я разобрался и нашел способ считать статзначимость в прямом смысле на пальцах.

В закладки

Подписывайтесь на канал, чтобы не пропустить клевые лайфхаки и истории про пет-проекты.

Итак, есть данные эксперимента по дням или по часам для контрольной и экспериментальной групп.

Ключевой вопрос: экспериментальная группа действительно идет выше, или это случайность?

Чтобы понять это, делаем следующее:

  1. Выкидываем дни, когда данные в эксперименте и контроле совпали. Остается 12 дней, потому что на четвертый день количество продаж совпало.

  2. Считаем сколько дней экспериментальная группа отклонялась в нетипичную сторону. В нашем случае было 2 дня — восьмой и девятый — когда эксперимент показал себя хуже контроля. В остальные дни он шел лучше.

  3. Из количества дней эксперимента вычитаем 6 и делим на 3 с округлением вниз. Столько нетипичных отклонений можно допустить, но все равно достоверно считать, что разница значима. В нашем случае (12-6)/3 = 2. То есть для 12 дней эксперимента результат значим, если отклонений два или меньше. В этом эксперименте у нас только два отклонения — это значит, что эксперимент идет значимо выше контроля.

Приятная особенность этого критерия — его можно применять к любым метрикам: и к конверсиям, и к уникам, и к просто абсолютным величинам, например деньгам. Вместо дней можно брать часы или недели.

Если критерий говорит, что результат значим — этому можно доверять. Если говорит, что не значим, но субъективно кажется, что должен быть значим, то воспользуйтесь другими более мощными критериями.

У критерия есть ограничение: если эксперимент длился 5 дней или меньше, то критерий всегда скажет, что результат не значим. Но стоит ли оценивать эксперименты по пяти дням — большой вопрос.

Как это работает

Я использовал симметричный критерий знаков — он универсальный и прост в расчете. Для него есть таблица значений: при каком количестве данных сколько можно допустить нетипичных отклонений. Я приблизил эту таблицу формулой (n-6)/3. На графике видно, что формула достаточно точно повторяет данные из таблицы. Формула иногда разрешает чуть меньшее количество отклонений — это значит, что мы получили чуть более осторожный критерий.

Итого

Чтобы посчитать статзначимость на пальцах:

  1. Выкидываем дни, когда данные в эксперименте и контроле совпали.
  2. Вычитаем 6 и делим на 3 количество дней эксперимента.
  3. Если нетипичных отклонений меньше или равно этому числу — результат значим.

Другие прикольные темы в телеграм канале, не пропустите.

Удачных экспериментов вам

{ "author_name": "Georgy Borisenko", "author_type": "self", "tags": [], "comments": 1, "likes": -3, "favorites": 7, "is_advertisement": false, "subsite_label": "marketing", "id": 126096, "is_wide": false, "is_ugc": true, "date": "Tue, 12 May 2020 15:56:21 +0300", "is_special": false }
0
1 комментарий
Популярные
По порядку
0

Достаточно одной ссылки на канал, незачем давать ее в начале и в конце.

Ответить

Прямой эфир