80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Сервис eLama и команда Яндекс Директа осенью 2021 года организовали для рекламодателей A/B-тест автостратегий и ручного управления ставками. 80% участников, завершивших тестирование, продолжили использовать конверсионные стратегии после окончания эксперимента. У этих рекламодателей доля расходов в аккаунте на кампании с конверсионными стратегиями в январе — после эксперимента — была выше среднего значения показателей до и после теста.

80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Для эксперимента были отобраны 662 кампаний у 287 клиентов eLama — самостоятельных рекламодателей и агентств и фрилансеров. Заявку на участие отправили 56 рекламодателей, 30 экспериментов были запущены, 15 — завершились успешно. В остальных 15-ти или были нарушены условия проведения теста, или останавливались кампании — из-за нехватки бюджета или действий рекламодателей.

80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Автоматические стратегии превзошли ручное управление ставками по трем ключевым показателям (оценивались данные по итогам вторых двух недель теста, когда стратегии вышли из обучения):

  • наименьшая средняя цена за конверсию (CPA);
  • наибольшее количество конверсий — достигнутых ключевых целей;
  • отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.
80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Кампании из проведенных по всем правилам экспериментов продвигали проекты в 10 тематиках.

80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

По стоимости цели автостратегия показала лучший результат в тематиках «Лекарственные препараты и БАДы», «Образование», «Уход за домом». Цена конверсии в таких кампаниях была на 37–47% ниже, чем в кампаниях с ручным управлением.

Больше конверсий, чем ручное управление ставок, автостратегии принесли в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги». Разница в количестве достигнутых целей составила от 30 до 62%.

Как проходил эксперимент

Эксперимент проводился с 25 октября по 19 декабря 2021 года, тестовые кампании работали четыре недели. Кампании отбирались по критериям:

  • Настроено ручное управление ставками и назначены ключевые цели.
  • Активные показы и накопленная статистика за последние 14 дней.
  • Не менее 20 конверсий по одной из ключевых целей за последние 7 дней в кампаниях.
  • В аккаунте работают минимум две рекламные кампании (если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента).

Тип кампании — поисковая или для сетей — был не важен.

A/B-тестирование проводилось с помощью инструмента в Яндекс Аудиториях, эксперимент настраивали специалисты Яндекса. Рекламодателю нужно было указать исходную кампанию, недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Специалисты Яндекса создавали две копии исходной кампании, в одной оставалось ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным клиентом.

Чтобы запустить эксперимент, рекламодатель выключал исходную кампанию и запускал две тестовые. Тест считался успешным, если выполнялись три условия:

  • Две тестовые кампании работали непрерывно в течение четырех недель в период с 25 октября по 19 декабря.
  • В кампаниях не менялись бюджет, стратегия, цена конверсии, средняя цена конверсии, модель атрибуции, не добавлялись и не удалялись ключевые цели. В кампании с ручным управлением допускалось изменять ставки, применять корректировки и использовать бид-менеджер eLama.
  • Минимальный бюджет равнялся или превышал 4200 рублей в неделю (делился поровну на две тестовые кампании).

Во всех 15 кампаниях, завершивших тест, использовалась стратегия «Оптимизация конверсий», в четырех из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.

Решение о продолжении работы со стратегиями участники принимали самостоятельно.

8282
20 комментариев

Эксперимент показывает. что люди не умеют в А/Б тесты толком. Параменты заданы верные, а условия выполнили не все. Нужно растить аналитику. без этого мы все будет просто сливать бюджеты и целиться не туда.
К автостратегиям отношусь нормально, но применяю с осторожностью

2
Ответить

Добрый день! Спасибо, что поделились своим мнением. Вы абсолютно правы, аналитика и эксперименты — это сложно.

Ответить

Это все прекрасно, но что eLama, что Яндекс.Директ - лица заинтересованные в том, чтобы люди потратили на контекстную рекламу как можно больше денег. Это и есть их бизнес. Я так, просто, выводы каждый сделает сам.

1
Ответить

Добрый день! Наша задача — помочь специалистам по интернет-маркетингу получать максимальную эффективность от рекламы.

Мы не призываем конкретно использовать те или иные настройки, но надеемся, что результаты этого эксперимента помогут оптимизировать рекламу и получать максимальный результат за меньшие деньги или, например, проверить гипотезу для своей ниши. Если вы решите повторить эксперимент для своего бизнеса, мы будем рады узнать о ваших результатах.

Ответить

Из интересного для себя отметил то, что нужно минимум 20 конверсий за последние 7 дней для работы автостратегий. Всегда считал что минимально необходимое количество конверсий за последние 7 дней - это 10 штук. При меньшем автостаратегии в рекламном кабинете просто выключаются.

Ответить

Алексей, добрый день! Рады, что вы смогли узнать для себя что-то новое из этого материала.

Да, это правда, 20 конверсий нужно как раз для A/B-теста, чтобы условно распределить их по 10 на две кампании. Низких вам ставок и высоких конверсий!

Ответить

Было бы интересно узнать цифры по цели "оплаченный заказ" ;)
А то может автостратегии были лучше по лидам и инфосайтам, а ручные по заказам.

Ответить