10 ошибок, при проведении А/B-тестов креативов
Представьте, у вас есть бренд и вы решили провести A/B-тест креативов: с блогером и без. Собрали статистику, выяснили, что без блогера баннеры показали выше эффективность, классно, рекламное агентство пишет кейс, как мы сэкономили на блогерах. Но можно ли сделать вывод, что стоит теперь использовать креативы только без блогеров - нет. А может это зависит от блогера, а может потому что блогер стоял в профиль а не в анфас, а может у одного бренда блогеры неэффективны, а у другого эффективны, а может, ...провести A/B-тест креативов невозможно в рекламных системах.
Итак, основные ошибки:
1. Практическое применение
Если вы планируете менять креативы раз в 2-3 месяца, то проведение А/B-теста не принесет будет затратным и не принесет пользы, так как после завершения теста креатив снова придется менять. В fashion мы обновляем креативы 1-2 раза в месяц.
2. Переобучение кампании
Если у вас есть уже обученная кампания в РСЯ, то ее нельзя подключать к эксперименту, так как у этой кампании уже есть накопленные данные. Чтобы провести А/Б-тест, две кампании нужно заводить с нуля, чтобы они были в равных условиях. Новые РК это всегда новое обучение, поэтому вам придется приостановить хорошо обученную РК, а также выделить бюджет на новый тест и обучение двух новых РК.
3. Разная эффективность
В разных таргетингах один и тот же креатив будет работать по-разному. Если вы тестируете 3 креатива в 1 РК, скорее всего, вы увидите, что в группе 1 отработал лучше креатив 1, в группе 2 - креатив 2, в группе 3 - креатив 3, выводы сделать не получится.
4. Неоднородность выборок
В разных кампаниях будут показы на разных площадках, будет разное распределение аудиторий, а значит, выборки будут неоднородны и алгоритмы сами будут менять аудитории, дообучать кампании в зависимости от накопленной статистики.
5. Слишком длительная продолжительность эксперимента
В длительный эксперимент попадает сезонность. Не так много возможностей для проведения полноценного А/Б-теста, так как каждый месяц сезонность будет отличаться, которая будет влиять на конверсию. В декабре - распродажи, в январе - праздники, потом 14 февраля, 8 марта, новая коллекция и так каждый месяц, летом опять распродажа и новая коллекция. Кроме того, на сезонность влияет день недели, если в период А попали выходные, а в период B нет, результаты будут недостоверными.
6. Слишком короткая продолжительность эксперимента
Чтобы эксперимент был статистически значимым, нужно хорошо подготовиться: рассчитать стандартную ошибку, Z-статистику, p-value и доверительный интервал. Как это выглядит писал в статье: "Как A/B-тесты отравляют жизнь маркетологу."
7. Показ объявлений одним и тем же пользователям
По каким показателям анализировать эксперименты: клики, сессии или пользователи - зависит от эксперимента. Если мы хотим сравнить креатив, то мы думаем, что нужно ориентироваться на CTR и клики, но одни и те же пользователи могли видеть разные креативы, а конверсия засчитается только одному в зависимости от атрибуции. В РСЯ нельзя задать ограничение на показ креатива одному пользователю, поэтому человек мог видеть креатив 1, креатив 2, а кликнуть по креативу 3, также нельзя посмотреть post-view-конверсии.
8. Незначительные отличия
Чтобы провести эксперимент, отличия в креативе должны быть, действительно, значимыми, на уровне смысла, а не модель 1 и модель 2. Кроме того, всегда можно нарваться на ошибку первого рода, когда мы увидим, что креатив B, лучше, чем креатив А, хотя на самом деле разницы в них никакой нет и на ошибку второго рода, когда мы увидим, что креативы одинаковые, хотя на самом деле разница в них есть.
9. Выбор неправильных метрик
Что оценивать: CTR, CPC или СR? Креатив с высоким CTR может иметь ниже CR, так как креатив с более высоким CTR попал на некачественную площадку и получил больше кликов, а оффер с более высоким CR может иметь более высокий CPL, так как у него будет выше СРС.
10. Внешние факторы
Мы тестируем креатив, но пока мы его тестируем, на сайте появляется новый ассортимент, вымываются остатки, меняются цены, появляются новые акции, разработчики вносят изменения на сайте и т.д., все это сказывается на конверсии.
Так как работать с креативами? Подписывайтесь, чтобы не пропустить следующий пост.
Если статья оказалась для вас полезной, поддержите её лайком — так больше людей узнают о ней.