Ошибка при А/Б-тестах на Маркетплейсах
Почему разница в 50 и 60 кликах может быть иллюзией
Многие продавцы на маркетплейсах проводят A/B-тесты карточек: сравнивают кликабельность, конверсию, вовлечённость. Часто кажется, что если одна карточка получила 50 кликов, а вторая — 60, то вторая однозначно лучше. Но это ловушка.
На самом деле, такая разница может быть чистой случайностью, и принимать на её основе решения — значит действовать вслепую. Объясняем почему.
📊 Что такое доверительный интервал
Когда мы получаем какие-то данные (например, CTR карточки), это не “высеченная в камне истина”, а приближённая оценка. У каждого измеренного значения есть разброс — в другой раз результат мог получиться немного другим. Чтобы это учесть, используют понятие доверительного интервала.
Простой пример: У карточки 50 кликов из 2000 показов = CTR 2.5%. Но это не “ровно 2.5%”. Это может быть и 2.3%, и 2.7% — в зависимости от того, как сложится статистика при других условиях. Этот разброс и называется доверительным интервалом — диапазон, в котором, с 95% вероятностью, лежит истинное значение.
🎯 Почему 60 кликов не всегда “лучше”
Представим:
- Карточка A: 50 кликов из 2000 → CTR 2.5%
- Карточка B: 60 кликов из 2000 → CTR 3.0%
Разница кажется значимой, но вот как выглядят их доверительные интервалы:
- A: [1.8% – 3.2%]
- B: [2.3% – 3.7%]
Обрати внимание: интервалы пересекаются. Это означает:
"Мы не можем с уверенностью сказать, что одна карточка лучше другой. Разница могла возникнуть случайно".
Если бы у одной карточки был интервал [2.0% – 2.5%], а у другой [3.0% – 3.5%], — вот тогда можно было бы говорить о статистически значимом преимуществе.
📐 Откуда берутся эти интервалы?
Интервалы рассчитываются на основе распределения вероятностей. В статистике считается, что каждый результат (например, 50 кликов из 2000) — это только один из множества возможных.
Рядом с ним могли быть:
- 52 клика
- 47 кликов
- 55 кликов
И вероятность каждого из этих исходов подчиняется определённому распределению (обычно биномиальному, в приближении — нормальному). С помощью формул считают, в каких границах находится “зона уверенности” — тот самый доверительный интервал.
🧠 Почему это важно
Если вы сравниваете карточки только по абсолютным числам — вы легко можете попасть в ловушку. Разница между 2.5% и 3.0% может быть реальной, а может быть просто шумом.
Приняв решение слишком рано, вы:
- удалите карточку, которая на самом деле не хуже
- вложитесь в продвижение карточки, которая не лучше
- сделаете выводы, которые не повторятся при масштабировании
✅ Как действовать правильно
- Оценивайте не только CTR, но и доверительные интервалы
- Убедитесь, что интервалы не пересекаются
- Используйте статистические тесты значимости (например, Z-тест для пропорций)
- Увеличьте объём данных (показов), если разница мала
- Не делайте выводов по 1–2 дням — только по устойчивым тенденциям
💡 Вывод
Цифры — это не всё. Уверенность в этих цифрах — вот что реально имеет значение. Если интервалы пересекаются, значит статистика говорит:
“Подожди. Ещё не время делать выводы”.
👉 Есть специальный сайт для такой проверки - https://abtestguide.com/calc/
А у А/Б-тестов на ВБ это уже встроено.
И когда вам кто-то (я тоже) показывает CTRы на 2000-3000 показов сразу вбивайте в этот сайт и принимайте решение доверять эксперименту или нет.
Проверяйте. Сравнивайте. Анализируйте. И пусть каждая цифра в вашем бизнесе будет не просто результатом, а подтверждённым решением.