Доверительный интервал: как не попасть в ловушку красивых цифр

Конверсия сама по себе — штука коварная. Одно дело увидеть заветные 3,7% в отчёте, и совсем другое — понять, насколько этим 3,7% вообще можно верить. Вот тут на сцену выходит доверительный интервал.

Почему без него картина неполная:

1. Не точка, а коридор вероятности. Доверительный интервал показывает не одно единственное значение, а диапазон, в котором с высокой вероятностью лежит реальный уровень конверсии. Это помогает принимать более взвешенные решения: стоит ли масштабировать кампанию или ещё рано.

2. Честное сравнение сегментов. Когда вы смотрите на две кампании — одна с 2,9%, другая с 3,4% — разница вроде бы есть. Но насколько она значима? Доверительный интервал позволяет отличить реальное преимущество от статистического шума.

3. Правильная настройка ожиданий. Если интервал узкий — можно быть относительно уверенным в оценке. Если широкий — значит, данных пока мало, стоит подождать или собрать больше трафика, прежде чем делать выводы.

Рассчитать доверительный интервал для 95% доверия несложно.

Но есть нюанс: Этот метод основан на z-тесте для пропорций, а он предполагает независимость данных. То есть, считайте конверсию на уровне уникальных пользователей, а не визитов или кликов — иначе ваши цифры могут завести не туда.

Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”