80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama
Сервис eLama и команда Яндекс Директа осенью 2021 года организовали для рекламодателей A/B-тест автостратегий и ручного управления ставками. 80% участников, завершивших тестирование, продолжили использовать конверсионные стратегии после окончания эксперимента. У этих рекламодателей доля расходов в аккаунте на кампании с конверсионными стратегиями в январе — после эксперимента — была выше среднего значения показателей до и после теста.
Для эксперимента были отобраны 662 кампаний у 287 клиентов eLama — самостоятельных рекламодателей и агентств и фрилансеров. Заявку на участие отправили 56 рекламодателей, 30 экспериментов были запущены, 15 — завершились успешно. В остальных 15-ти или были нарушены условия проведения теста, или останавливались кампании — из-за нехватки бюджета или действий рекламодателей.
Автоматические стратегии превзошли ручное управление ставками по трем ключевым показателям (оценивались данные по итогам вторых двух недель теста, когда стратегии вышли из обучения):
- наименьшая средняя цена за конверсию (CPA);
- наибольшее количество конверсий — достигнутых ключевых целей;
- отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.
Кампании из проведенных по всем правилам экспериментов продвигали проекты в 10 тематиках.
По стоимости цели автостратегия показала лучший результат в тематиках «Лекарственные препараты и БАДы», «Образование», «Уход за домом». Цена конверсии в таких кампаниях была на 37–47% ниже, чем в кампаниях с ручным управлением.
Больше конверсий, чем ручное управление ставок, автостратегии принесли в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги». Разница в количестве достигнутых целей составила от 30 до 62%.
Как проходил эксперимент
Эксперимент проводился с 25 октября по 19 декабря 2021 года, тестовые кампании работали четыре недели. Кампании отбирались по критериям:
- Настроено ручное управление ставками и назначены ключевые цели.
- Активные показы и накопленная статистика за последние 14 дней.
- Не менее 20 конверсий по одной из ключевых целей за последние 7 дней в кампаниях.
- В аккаунте работают минимум две рекламные кампании (если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента).
Тип кампании — поисковая или для сетей — был не важен.
A/B-тестирование проводилось с помощью инструмента в Яндекс Аудиториях, эксперимент настраивали специалисты Яндекса. Рекламодателю нужно было указать исходную кампанию, недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Специалисты Яндекса создавали две копии исходной кампании, в одной оставалось ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным клиентом.
Чтобы запустить эксперимент, рекламодатель выключал исходную кампанию и запускал две тестовые. Тест считался успешным, если выполнялись три условия:
- Две тестовые кампании работали непрерывно в течение четырех недель в период с 25 октября по 19 декабря.
- В кампаниях не менялись бюджет, стратегия, цена конверсии, средняя цена конверсии, модель атрибуции, не добавлялись и не удалялись ключевые цели. В кампании с ручным управлением допускалось изменять ставки, применять корректировки и использовать бид-менеджер eLama.
- Минимальный бюджет равнялся или превышал 4200 рублей в неделю (делился поровну на две тестовые кампании).
Во всех 15 кампаниях, завершивших тест, использовалась стратегия «Оптимизация конверсий», в четырех из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.
Решение о продолжении работы со стратегиями участники принимали самостоятельно.
Эксперимент показывает. что люди не умеют в А/Б тесты толком. Параменты заданы верные, а условия выполнили не все. Нужно растить аналитику. без этого мы все будет просто сливать бюджеты и целиться не туда.
К автостратегиям отношусь нормально, но применяю с осторожностью
Добрый день! Спасибо, что поделились своим мнением. Вы абсолютно правы, аналитика и эксперименты — это сложно.
Это все прекрасно, но что eLama, что Яндекс.Директ - лица заинтересованные в том, чтобы люди потратили на контекстную рекламу как можно больше денег. Это и есть их бизнес. Я так, просто, выводы каждый сделает сам.
Добрый день! Наша задача — помочь специалистам по интернет-маркетингу получать максимальную эффективность от рекламы.
Мы не призываем конкретно использовать те или иные настройки, но надеемся, что результаты этого эксперимента помогут оптимизировать рекламу и получать максимальный результат за меньшие деньги или, например, проверить гипотезу для своей ниши. Если вы решите повторить эксперимент для своего бизнеса, мы будем рады узнать о ваших результатах.
Из интересного для себя отметил то, что нужно минимум 20 конверсий за последние 7 дней для работы автостратегий. Всегда считал что минимально необходимое количество конверсий за последние 7 дней - это 10 штук. При меньшем автостаратегии в рекламном кабинете просто выключаются.
Алексей, добрый день! Рады, что вы смогли узнать для себя что-то новое из этого материала.
Да, это правда, 20 конверсий нужно как раз для A/B-теста, чтобы условно распределить их по 10 на две кампании. Низких вам ставок и высоких конверсий!
Было бы интересно узнать цифры по цели "оплаченный заказ" ;)
А то может автостратегии были лучше по лидам и инфосайтам, а ручные по заказам.