Закон больших чисел в Яндекс Директ + готовый промпт для расчёта объёма выборки
Представьте, вы запустили рекламу и судорожно каждые 2 часа проверяете статистику. Вот пошли первые конверсии: один из рекламных креативов явно опережает все остальные по эффективности. И уже руки чешутся отключить все «неудачные» креативы выделить больше бюджета на «звёздочку».
Сегодня попробуем провести оценку эффективности нашей рекламы с учётом наших человеческих когнитивных искажений и закона больших чисел.
Что происходит на самом деле в первые дни теста?
Вы видите реализацию случайного процесса, а не устойчивую закономерность.Ваш креатив с 12% CR мог просто:
- Случайно попасть на узкую группу «горячих» пользователей
- Быть показан в удачное время суток
- Получить случайный клик от «исследователя», а не целевого клиента
Как не стать жертвой самообмана?
Рассчитайте минимальную статистически значимую выборку по готовой формуле.
Эта формула называется "Формула для определения объёма выборки при оценке пропорции"
Её также часто называют:
- Формулой для расчёта выборки при известной пропорции
- Калькулятор статистической значимости для конверсии
Пример расчета при ожидаемой конверсии в 12% и погрешности 3%
Контролируйте частоту проверок
Установите 2 правила:
- Первые 3 дня - только сбор данных, никаких выводов
- Решения об отключении - только после сбора достаточного количества данных
Примите парадокс «медленной оптимизации»
В рекламе самая быстрая оптимизация - это терпеливая оптимизация.Отключая «неудачные» креативы рано, вы:
- Уничтожаете диверсификацию рисков
- Теряете возможность увидеть позднюю конверсию
- Подвергаетесь случайным колебаниям трафика
Если лень считать и сильно обобщить
Минимальный порог, после которого цифры перестают быть просто случайным шумом:
- Абсолютный минимум: 100 кликов (тогда погрешность будет около ±15-20%, что уже хоть что-то значит)
- Более-менее: 300-500 кликов (погрешность снижается до ±8-12%)
- Уже можно работать: 1000+ кликов (погрешность ±5-8%)
Рекламные платформы апеллируют к «обучаемым алгоритмам», но никакое машинное обучение не отменяет ЗБЧ. Нейросети могут быстрее находить паттерны, но им точно так же нужны репрезентативные объёмы данных для оценки параметров.
Прежде чем принимать решения, спросите себя: хотели бы вы, чтобы ваш хирург учился делать операции на 10 пациентах?
P.S. Законы статистики работают даже если вы в них не верите - как гравитация. Можно игнорировать, но при падении всё равно будет больно. Особенно больно вашему бюджету и репутации.
Готовый промпт для расчета:
Рассчитай минимальный объём количества кликов для оценки конверсии рекламы в Яндекс Директ со следующими параметрами:
1. Ожидаемая конверсия (p): 12% (0.12)
2. Доверительный уровень: 95% (Z = 1.96)
3. Допустимая погрешность (ε): ±3% (0.03)4. Популяция: не ограничена
Предоставь полный расчёт.