Илья Володченко, Head of Programmatic Havas Village, делится методологией предстартового тестирования рекламной кампании
Бренды хотят быть уверены в достижении KPI ещё до запуска кампаний. Безусловные козыри диджитал маркетинга — прогнозируемость и измеримость. Результативность кампаний отслеживается в онлайне. Поэтому, применять новые настройки и тестировать, что работает лучше, а что хуже, нужно на всех этапах.
Рассказываем на пальцах о предстартовом тестировании рекламных кампаний.
1. Определите гипотезу и цель
Поймите, что необходимо улучшить по итогам теста: количество кликов на объявления, повысить уровень продаж или снизить стоимость этой продажи, улучшить попадание в целевую аудиторию.
2. Выберите только одну переменную для проверки
Определите, делаете ли вы тест таргетинга или тест креатива. Одна переменная для проверки – это либо текст, либо картинка. Если меняете текст или заголовок, меняете только один элемент.
3. Разбейте кампанию на две группы: Контрольная и тестовая
«Контрольная» – формат, в котором вы делали её обычно. Например, таргетинг по интересам.
«Тестовая» — с нашей гипотезой. Например, таргетинг по ключевым словам.
4. Разделите аудиторию одинаково и случайным образом
Используйте единый формат, ставку, бюджет, сроки проведения рекламной кампании, одинаковую посадочную и прочие настройки.
В некоторых платформах есть специальные настройки для проведения А/Б тестов, которые помогут распределить аудиторию случайным образом
5. Выберите только один KPI для оценки эффективности
Важно оценивать тест только по одному показателю, как: CTR, CPC, показателю отказов, времени на сайте или CPA. Если вы будете оценивать сразу несколько показателей, то можете не понять, какая группа сработала лучше.
6. Определите размер выборки
6.1. Стабильность показателя
Выборка всегда должна быть достаточна для того, чтобы при масштабировании кампании результаты теста были устойчивы. Так, если вы тестируете CTR, то должны быть уверены в том, что полученный коэффициент будет оставаться таким же, даже если вы будете проводить это размещение на больший бюджет и в последующих рекламных кампаниях.
Если, к примеру, было всего 2 клика, вряд ли текущий CTR сохранится и далее при объеме в 1000 кликов. Необходимый минимальный объем кликов для оценки CTR — 400 кликов
Если на каждый тестируемый сегмент набирается меньше кликов или сеансов, параметры теста и количество сегментов нужно пересматривать.
6.2. Статистическая значимость.
После того, как вы убедились в стабильности показателя, нужно убедиться в том, что разница между гипотезами статистически значима.
Предположим, есть два сегмента. У одного CTR 0, 10%, а у другого —0, 11% . Если показов и кликов было не так много, этот результат нельзя назвать абсолютно корректным, т.к. разница может оказаться случайной.
Чтобы проверить результат, нужно воспользоваться калькулятором статистической значимости. Занести в него показы и клики или сеансы и конверсии по двум группам. Если калькулятор дает положительный ответ- значит тест проведен успешно.
7. Запускайте одновременно не более одного теста
Запуская сразу несколько тестов, будет очень сложно понять, что повлияло на результат. К примеру, если вы тестируете разные картинки в объявлениях и разные аудитории для таргетинга, вам будет сложно определить, что именно привело к увеличению конверсий.
8. Тестируйте оба варианта одновременно
Если контрольная группа размещается в одном месяце, а тестовая в следующем – то будет не понятно, что повлияло на результат: месяц размещения или ваши изменения.
9. Дайте A/Б-тесту достаточно времени для сбора данных
Идеально подходящее количество времени — больше месяца. Золотая середина – две или три недели.
10. Как только наберется статистически значимый результат по вашему KPI, смело отключайте проигравший вариант. Если изменения незначительны — меняйте гипотезу и запускайте новый тест.
Бинго! После завершения тестирования сохраните результаты и внедряйте во все кампании по бренду, на котором делаете тест.
Успешных тестов:)