Инструменты A/B-тестирования в таргетированной рекламе

Сравнение возможностей встроенных инструментов рекламных систем.

Привет, vc.ru! Меня зовут Али Байчибаев, я специалист по таргетированной рекламе. Вместе с командой сервиса «Везёт» мы запустили сотни, если не тысячи, кампаний в самых разных рекламных сетках — и давно поняли, что без тестирования креативов и прочих параметров никуда.

Я остановлюсь на самом популярном методе проверки маркетинговых гипотез — на A/B-тестировании — и поговорю о возможностях его проведения внутри систем таргетированной рекламы (в данном случае это традиционные Facebook, MyTarget и ВК).

Встроенные инструменты — это простой способ получить достоверные результаты «не отходя от кассы»: не занимаясь ручными расчетами и не привлекая аналитиков. Особенно такие инструменты пригодятся новичкам или небольшим командам.

Но нужно быть внимательным при подготовке эксперимента, его проведении и интерпретации результатов. Давайте разбираться, как это работает в каждой из сетей.

Из всех трёх рекламных сетей в Facebook самая проработанная система тестирования.

Cплит-тестирование можно запустить уже на этапе создания рекламной кампании. Доступные для изменения переменные:

• Креатив.
• Модель оптимизации рекламных объявлений.
• Параметры аудитории.
• Места размещения (плейсменты).

Важно! Здесь вы можете протестировать изменения именно на уровне групп объявлений: их аудитория автоматически делится на пропорциональные части и не пересекается.

Кроме тестирования на уровне адсетов, в интерфейсе Facebook есть специальный раздел Test And Learn (у некоторых он уже переименован в Experiments), в котором доступны для запуска:

• A/B Test — A/B-тестирование.
• Holdout Test (Conversion Lift) — тестирование контрольной выборки.
• Brand Survey (Brand Lift) — исследование узнаваемости бренда.
• Campaign Budget Optimization Lift — тестирование оптимизации бюджета кампании.

Из этих четырёх тестов нас в первую очередь интересует первый — остальные скорее основаны на прогнозируемых характеристиках, а некоторые из них и вовсе долгое время были недоступны для запуска в России.

Собственно, A/B-тестирование в разделе Experiments в терминологии Facebook — это тест, похожий на сплит-тест, про который я говорил чуть выше: аудитория разделяется на непересекающиеся части. Основное отличие в том, что здесь возможно тестировать изменения не на уровне адсетов, а уже на уровне кампаний. Другими словами, можно тестировать практически произвольный набор характеристик как в настройках адсета, так и в настройках кампании. Нужно лишь следить за тем, чтобы количество результатов по обеим кампания не было слишком маленьким.

По окончании тестирования Facebook покажет вам результат в виде красивого графика и табличек.

Но не торопитесь делать выводы на основе таких данных — дело в том, что часто из-за разных окон атрибуции и особенностей работы Facebook Analytics случается так, что данные в кабинете не совсем совпадают с реальностью. Я бы советовал свести в отдельную табличку данные из Facebook об охватах и расходах и данные о конверсиях из веб-аналитики или мобильного трекера. В зависимости от того, что именно вы тестировали, и какие конверсии для вас важны. Кстати, стоит отметить, что интерфейс Facebook при тестировании выделяет победителя на основе самой низкой стоимости за результат.

Если возникло желание погрузиться в процесс тестирования на Facebook, советуем обратить внимание на статью Каролы Карлсон (Karola Karlson). Здесь очень подробно расписаны случаи использования, разобраны основные ошибки и даны советы о том, как их избежать.

Совсем недавно в MyTarget появился полноценный инструмент тестирования — возможность делить аудиторию прямо из интерфейса рекламного кабинета. В справке сервиса достаточно подробно описано, когда такое тестирование окажется к месту:

• При тестировании креативов (либо связок текст/баннер, либо одного из этих элементов по отдельности).
• При сравнении моделей оплаты (CPC, oCPM, CPM или CPI). Можно оценить, например, какая из этих моделей приносит вам самое дешёвое целевое действие.
• При изменении ставки.
• При тестировании других параметров в системе, например, способа распределения бюджета.

Получается, для успешного тестирования в MyTarget вам нужно лишь аккуратно спроектировать свой эксперимент: удостовериться, что аудитория кампаний изначально идентична, выбрать равные доли аудитории в интерфейсе и определиться со значимой метрикой, по которой вы будете принимать финальное решение об эффективности.

Важное уточнение: при определении важной для вас метрики обратите внимание на те из них, которые случаются часто — если же у вас, например, на 100 тыс. показов случается одна покупка, использовать эту конверсию для определения эффективности, скорее всего, не выйдет — статистической значимости результатов не будет. А также это скорее должна быть не верхнеуровневая метрика вроде CTR, а реально важный для вашего бизнеса показатель.

Аудитория в этом интерфейсе разделена на 10 частей, то есть теоретически можно протестировать не только два варианта, но вести и A/B/C/D/… тест. Но здесь, конечно, надо обратить внимание на ёмкость рынка, чтобы ваши результаты были значимыми.

Если вам почему-то не подходит стандартный инструмент разделения аудиторий, есть и другой способ — разделить аудиторию через сегменты на вкладке «Аудитории» в рекламном кабинете. Вы создаёте несколько сегментов (в зависимости от количества кампаний, которые надо протестировать) и в каждом из них исключаете из показа тех, кто видел объявления других кампаний.

Во «ВКонтакте» ситуация со встроенными инструментами тестирования немного сложнее — на момент публикации статьи их нет.

Но и здесь есть аналогичный описанному выше путь проведения сплит-тестирования. Нужно обратить внимание на параметры сбора аудитории в кампании: вам нужно сохранить аудиторию, которая увидела ваше объявление А и исключить её из тех, кому показывается объявление Б, и, соответственно, в обратном порядке.

К сожалению, многие руководства по тестированию в ВК и даже официальная страничка от «ВКонтакте для бизнеса» упускают момент взаимоисключения аудитории, в то время как это одно из самых важных условий проведения достоверного тестирования. Ведь мы тестируем влияние конкретного изменения на эффективность объявления — а не, так сказать, мультикреативную атрибуцию, когда пользователь, например, увидел 4 раза одно ваше объявление, а кликнул по другому. Это просто так «на ходу» не посчитать.

Ещё одно препятствие на пути проведения подобного тестирования в ВК — аукцион часто зависит от эффективности объявления (его CTR). Если не следить за тестом, может произойти ситуация, когда одно из объявлений просто перестанет транслироваться — это, скорее всего, сведёт ценность такого теста на ноль. В качестве решения во время тестирования предлагаю пользоваться автоматической ставкой CPM, которая как раз недавно появилась в ВК.

Это позволит вам быстро набрать аудиторию, а бюджет на объявления будет тратиться равномерно.

Статистический анализ — серьёзная наука, и существует несколько подходов к правильной оценке результатов тестирований: каждый со своими плюсами и минусами.

Но чтобы получить быстрые значимые результаты «не отходя от кассы» вполне подойдут и онлайн-калькуляторы: вот, например, байесовский калькулятор и отдельный калькулятор значимости и мощности теста от AB Testguide.

Подставив данные об охвате или кликах (последнее актуально при закупке рекламы по модели CPC, то есть в тех случаях, когда вы можете напрямую контролировать стоимость перехода) и значимых конверсиях (не забывайте, что таких конверсий должно быть много: если вы не видите значимости в полученных результатах, попробуйте перейти на конверсию, которая находится выше по воронке), вы получите ответ, стоит ли доверять такому тесту и его результатам, либо желательно продолжать его ещё.

Если вы хотите разобраться в вопросе тестирования ещё лучше, рекомендую обратиться к академической матстатистике. На рынке много хороших пособий (например, такое) и готовых курсов, например, вот такой цикл курсов от «2ГИС» и Новосибирского университета. Отдельно хотим посоветовать вот этот курс от Google и Udacity именно о AB-тестировании (на английском языке).

Надеемся, статья была для вас полезной, особенно если вы только начинаете подходить к вопросу тестирования рекламных материалов. Если и вы хотите посоветовать что-то почитать/посмотреть о тестировании, милости просим в комментарии.

#таргетинг #таргетированная_реклама #facebook #вконтакте #mytarget #abтестирование #реклама_в_социальных_сетях