8 советов для успешного A/B-теста автостратегий и ручного управления в «Яндекс Директе»

На днях мы рассказали, как вместе с командой Яндекса организовали для наших клиентов A/B-тестирование ручного управления ставками и автостратегий. После окончания этого эксперимента в 80% кампаний рекламодатели оставили конверсионную стратегию Директа.

Сегодня мы дадим несколько рекомендаций, следуя которым вы сможете узнать, какой способ управления работает лучше в ваших кампаниях.

Кампания должна приносить не меньше 20–25 конверсий в неделю по настроенным в Метрике целям. Такое количество конверсий обусловлено тем, что аудитория будет разделена пополам, и каждая тестовая кампания будет приносить по 10–12 конверсий, необходимых для стабильной работы стратегии.

В тестовых кампаниях для оптимизации и ручного управления, и конверсионной стратегии нужно использовать ту же цель, которая работала в исходной для эксперимента кампании.

Для организации A/B-теста применяйте специальный инструмент Яндекс Аудиторий. Он поможет разделить аудиторию пополам, провести эксперимент правильно и получить достоверные результаты. Как настроить тест с помощью эксперимента в Аудиториях, мы рассказывали в видеоролике.

Оптимизация конверсий подойдет тем, кому важно достижение целей на сайте, например, отправка заявок, а Целевая доля рекламных расходов — тем, кто занимается электронной коммерцией и нацелен на продажи и удержание определенного ДРР. Как работать с автостратегиями, читайте в нашем блоге.

При определении этих целевых показателей ориентируйтесь на накопленные данные на ручном управлении и используйте их при проведении A/B-теста. Например, если в Мастере отчетов вы видите, что предыдущие две недели цена конверсии была 250 руб. при недельном бюджете 10 000 руб. — устанавливайте целевую цену конверсии на уровне 250 руб. в кампании с автостратегией и бюджет в 5000 руб. в каждой из кампаний.

А также вносите незначительные изменения в обе кампании — тогда эти корректировки не повлияют на результат только в одной тестовой кампании. Можно в небольшом количестве добавлять ключевые фразы, незначительно корректировать объявления, геотаргетинг, расписание показов и повышать бюджет и целевые показатели (но не более чем на 10–20% за один раз). В кампании с ручным управлением также можно менять ставки, применять корректировки и использовать бид-менеджер eLama.

Кампании не должны прекращать работу больше чем на сутки. Также не вносите критичных изменений во время эксперимента. Нельзя менять тип стратегии, модель оплаты, модель атрибуции, а также добавлять и удалять ключевые цели. Всё это может сбросить обучение стратегий.

Во время обучения кампания может показывать плохой результат, а расход — превышать лимит. Стратегии нужно время на обучение, иногда это несколько дней, иногда — две недели. А после завершения обучения кампания начнет работать по заданным правилам и будет выдерживать установленные ограничения.

При построении отчета выбирайте такие параметры:

Оценивайте результаты третьей и четвертой недель теста и ориентируйтесь на качественные показатели: количество и процент конверсий, их цену, долю рекламных расходов.

При принятии решения о дальнейшем управлении ставками отталкивайтесь от целей и возможностей бизнеса: готовы ли вы обрабатывать больше заявок, важнее удерживать цену конверсии или вы готовы получить больше заявок по более высокой стоимости и т. д.

Если ручное управление ставками оказалось эффективнее, вы можете вернуться к исходной кампании или продолжить работать с экспериментальной на ручном управлении.

Если в эксперименте выиграла конверсионная стратегия, постепенно перераспределяйте бюджет и аудиторию с кампании с ручным управлением на кампанию с конверсионной стратегией. Делайте это не чаще раза в неделю и меняйте показатели не более чем на 10–20%.

В случае, если результаты неоднозначны, например, в некоторые недели лучше работало ручное управление, а в другие — конверсионная стратегия, продлите тест еще на несколько недель, чтобы получить больше статистических данных.

А если вы клиент eLama, обращайтесь в Службу Заботы — специалисты ответят на все вопросы о настройке эксперимента, работе со стратегиями и оценке результатов.