{"id":9253,"title":"\u0427\u0442\u043e \u0434\u0430\u0440\u0438\u0442\u044c \u0441\u043e\u0442\u0440\u0443\u0434\u043d\u0438\u043a\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043d\u0430\u0432\u0440\u0435\u0434\u0438\u0442\u044c \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0439 \u0441\u0440\u0435\u0434\u0435","url":"\/redirect?component=advertising&id=9253&url=https:\/\/vc.ru\/mos.ecology\/322605-chto-darit-klientam-sotrudnikam-i-partneram-chtoby-ne-navredit-okruzhayushchey-srede&placeBit=1&hash=f7f2e59c93d6bf99b4de7eb426299419c5e5dc01833ead4a2d9b746713d07b81","isPaidAndBannersEnabled":false}
Маркетинг
Ali Baychibaev

Инструменты A/B-тестирования в таргетированной рекламе

Сравнение возможностей встроенных инструментов рекламных систем.

Привет, vc.ru! Меня зовут Али Байчибаев, я специалист по таргетированной рекламе. Вместе с командой сервиса «Везёт» мы запустили сотни, если не тысячи, кампаний в самых разных рекламных сетках — и давно поняли, что без тестирования креативов и прочих параметров никуда.

Я остановлюсь на самом популярном методе проверки маркетинговых гипотез — на A/B-тестировании — и поговорю о возможностях его проведения внутри систем таргетированной рекламы (в данном случае это традиционные Facebook, MyTarget и ВК).

Встроенные инструменты — это простой способ получить достоверные результаты «не отходя от кассы»: не занимаясь ручными расчетами и не привлекая аналитиков. Особенно такие инструменты пригодятся новичкам или небольшим командам.

Но нужно быть внимательным при подготовке эксперимента, его проведении и интерпретации результатов. Давайте разбираться, как это работает в каждой из сетей.

Facebook

Из всех трёх рекламных сетей в Facebook самая проработанная система тестирования.

Cплит-тестирование можно запустить уже на этапе создания рекламной кампании. Доступные для изменения переменные:

  • Креатив.
  • Модель оптимизации рекламных объявлений.
  • Параметры аудитории.
  • Места размещения (плейсменты).

Важно! Здесь вы можете протестировать изменения именно на уровне групп объявлений: их аудитория автоматически делится на пропорциональные части и не пересекается.

​Интерфейс запуска сплит-тестирования на экране создания кампании.

Кроме тестирования на уровне адсетов, в интерфейсе Facebook есть специальный раздел Test And Learn (у некоторых он уже переименован в Experiments), в котором доступны для запуска:

  • A/B Test — A/B-тестирование.
  • Holdout Test (Conversion Lift) — тестирование контрольной выборки.
  • Brand Survey (Brand Lift) — исследование узнаваемости бренда.
  • Campaign Budget Optimization Lift — тестирование оптимизации бюджета кампании.

Из этих четырёх тестов нас в первую очередь интересует первый — остальные скорее основаны на прогнозируемых характеристиках, а некоторые из них и вовсе долгое время были недоступны для запуска в России.

Собственно, A/B-тестирование в разделе Experiments в терминологии Facebook — это тест, похожий на сплит-тест, про который я говорил чуть выше: аудитория разделяется на непересекающиеся части. Основное отличие в том, что здесь возможно тестировать изменения не на уровне адсетов, а уже на уровне кампаний. Другими словами, можно тестировать практически произвольный набор характеристик как в настройках адсета, так и в настройках кампании. Нужно лишь следить за тем, чтобы количество результатов по обеим кампания не было слишком маленьким.

По окончании тестирования Facebook покажет вам результат в виде красивого графика и табличек.

Результаты сплит-тестирования.​

Но не торопитесь делать выводы на основе таких данных — дело в том, что часто из-за разных окон атрибуции и особенностей работы Facebook Analytics случается так, что данные в кабинете не совсем совпадают с реальностью. Я бы советовал свести в отдельную табличку данные из Facebook об охватах и расходах и данные о конверсиях из веб-аналитики или мобильного трекера. В зависимости от того, что именно вы тестировали, и какие конверсии для вас важны. Кстати, стоит отметить, что интерфейс Facebook при тестировании выделяет победителя на основе самой низкой стоимости за результат.

Если возникло желание погрузиться в процесс тестирования на Facebook, советуем обратить внимание на статью Каролы Карлсон (Karola Karlson). Здесь очень подробно расписаны случаи использования, разобраны основные ошибки и даны советы о том, как их избежать.

MyTarget

Совсем недавно в MyTarget появился полноценный инструмент тестирования — возможность делить аудиторию прямо из интерфейса рекламного кабинета. В справке сервиса достаточно подробно описано, когда такое тестирование окажется к месту:

  • При тестировании креативов (либо связок текст/баннер, либо одного из этих элементов по отдельности).
  • При сравнении моделей оплаты (CPC, oCPM, CPM или CPI). Можно оценить, например, какая из этих моделей приносит вам самое дешёвое целевое действие.
  • При изменении ставки.
  • При тестировании других параметров в системе, например, способа распределения бюджета.

Получается, для успешного тестирования в MyTarget вам нужно лишь аккуратно спроектировать свой эксперимент: удостовериться, что аудитория кампаний изначально идентична, выбрать равные доли аудитории в интерфейсе и определиться со значимой метрикой, по которой вы будете принимать финальное решение об эффективности.

Интерфейс разделения аудиторий в кампаниях MyTarget.​

Важное уточнение: при определении важной для вас метрики обратите внимание на те из них, которые случаются часто — если же у вас, например, на 100 тыс. показов случается одна покупка, использовать эту конверсию для определения эффективности, скорее всего, не выйдет — статистической значимости результатов не будет. А также это скорее должна быть не верхнеуровневая метрика вроде CTR, а реально важный для вашего бизнеса показатель.

Аудитория в этом интерфейсе разделена на 10 частей, то есть теоретически можно протестировать не только два варианта, но вести и A/B/C/D/… тест. Но здесь, конечно, надо обратить внимание на ёмкость рынка, чтобы ваши результаты были значимыми.

Если вам почему-то не подходит стандартный инструмент разделения аудиторий, есть и другой способ — разделить аудиторию через сегменты на вкладке «Аудитории» в рекламном кабинете. Вы создаёте несколько сегментов (в зависимости от количества кампаний, которые надо протестировать) и в каждом из них исключаете из показа тех, кто видел объявления других кампаний.

Пример создания такого сегмента.​

ВКонтакте

Во «ВКонтакте» ситуация со встроенными инструментами тестирования немного сложнее — на момент публикации статьи их нет.

Но и здесь есть аналогичный описанному выше путь проведения сплит-тестирования. Нужно обратить внимание на параметры сбора аудитории в кампании: вам нужно сохранить аудиторию, которая увидела ваше объявление А и исключить её из тех, кому показывается объявление Б, и, соответственно, в обратном порядке.

К сожалению, многие руководства по тестированию в ВК и даже официальная страничка от «ВКонтакте для бизнеса» упускают момент взаимоисключения аудитории, в то время как это одно из самых важных условий проведения достоверного тестирования. Ведь мы тестируем влияние конкретного изменения на эффективность объявления — а не, так сказать, мультикреативную атрибуцию, когда пользователь, например, увидел 4 раза одно ваше объявление, а кликнул по другому. Это просто так «на ходу» не посчитать.

На этом этапе настройки объявления в ВК выбираются настройки сохранения аудитории и настройки её исключения из показа.​

Ещё одно препятствие на пути проведения подобного тестирования в ВК — аукцион часто зависит от эффективности объявления (его CTR). Если не следить за тестом, может произойти ситуация, когда одно из объявлений просто перестанет транслироваться — это, скорее всего, сведёт ценность такого теста на ноль. В качестве решения во время тестирования предлагаю пользоваться автоматической ставкой CPM, которая как раз недавно появилась в ВК.

Это позволит вам быстро набрать аудиторию, а бюджет на объявления будет тратиться равномерно.

Анализ результатов

Статистический анализ — серьёзная наука, и существует несколько подходов к правильной оценке результатов тестирований: каждый со своими плюсами и минусами.

Но чтобы получить быстрые значимые результаты «не отходя от кассы» вполне подойдут и онлайн-калькуляторы: вот, например, байесовский калькулятор и отдельный калькулятор значимости и мощности теста от AB Testguide.

Подставив данные об охвате или кликах (последнее актуально при закупке рекламы по модели CPC, то есть в тех случаях, когда вы можете напрямую контролировать стоимость перехода) и значимых конверсиях (не забывайте, что таких конверсий должно быть много: если вы не видите значимости в полученных результатах, попробуйте перейти на конверсию, которая находится выше по воронке), вы получите ответ, стоит ли доверять такому тесту и его результатам, либо желательно продолжать его ещё.

Если вы хотите разобраться в вопросе тестирования ещё лучше, рекомендую обратиться к академической матстатистике. На рынке много хороших пособий (например, такое) и готовых курсов, например, вот такой цикл курсов от «2ГИС» и Новосибирского университета. Отдельно хотим посоветовать вот этот курс от Google и Udacity именно о AB-тестировании (на английском языке).

Надеемся, статья была для вас полезной, особенно если вы только начинаете подходить к вопросу тестирования рекламных материалов. Если и вы хотите посоветовать что-то почитать/посмотреть о тестировании, милости просим в комментарии.

0
0 комментариев
Популярные
По порядку
Читать все 0 комментариев
Чему создатели метавселенных могут поучиться у 3D-игры Second Life Статьи редакции

Её основатель ещё в нулевых говорил, что физический мир канет в прошлое, и завлёк в игру не только пользователей, но также бренды, политиков и СМИ. Какой он видит метавселенную, исходя из своего опыта, — в пересказе Time.

Кадр из игры Second Life SL Community
ИТ-специалисты сообщили о блокировке Tor в России Статьи редакции

На проблемы с доступом пользователи жалуются с начала декабря.

Сайты в 2021 году
Tele2. Недоразумение со сменой тарифа

Моя бабушка пользуется тарифом без абонентской платы от Tele2. Недавно ей позвонили и предложили поменять тарифный план. Бабушка в этом ничего не понимает, но прекрасно понимает, что не стоит принимать решения, не посоветовавшись с детьми/внуками. Поэтому она, почти сразу,прервала разговор. На следующий день выяснилось, что с ее номера телефона…

Мой опыт общения с Почтой России

Первым делом хочу попросить прощения у всех граждан России. Благодаря моим действиям, описанным вкратце в этой статье, я получил некоторую сумму денег, которая иначе могла бы попасть в бюджет РФ. Но произошло это по вине сотрудников АО «Почта России». Учредителем и единственным акционером АО «Почта России» является Российская Федерация.

От чтения мыслей до вторжения во сны: зачем исследуют сознание и чем это грозит Статьи редакции

Учёные научились считывать структуру фраз и даже визуальные образы из мыслей. Теперь они переживают, что компании внедрят в сны рекламу.

Сбербанк компрометирует код CVC при выдаче карты

Пришёл срок замены карты, по сроку действия. Стоит сразу сказать, что на низовом видимом варианте сотрудники Сбера работают отлично. Всегда помогут, подскажут, доброжелательно и в целом приятно. Но когда работает та невидимая часть Сбера к которой не приедешь, увы начинаются проблемы.

SkillFactory раздает подарки: повышенная ставка и новогодний марафон для вебмастеров

В преддверии Нового года мы решили порадовать своих настоящих и будущих партнеров — участников партнерской программы школ Skillfactory, Contented и Product LIVE. Это возможность получить денежный бонус и заодно увеличить прибыль от продажи наших курсов.

И сотрудников тоже касается: кибербуллинг на рабочем месте
Design vector created by pikisuperstar - www.freepik.com
Откуда берут взрослые деревья для парков и улиц

А также сколько они стоят и почему выращивать их — неплохой бизнес.

Продавец eBay из Кургана стала победителем в финале Всероссийского конкурса «Молодой предприниматель России 2021»

27 ноября в Москве состоялся финал ежегодного конкурса «Молодой предприниматель России 2021». В нём приняли участие предприниматели и самозанятые в возрасте до 35 лет. Всего было подано более 300 заявок из 43 регионов страны.

null