80% рекламодателей предпочли автостратегии Директа ручному управлению после A/B-теста — эксперимент Яндекса и eLama

Сервис eLama и команда Яндекс Директа осенью 2021 года организовали для рекламодателей A/B-тест автостратегий и ручного управления ставками. 80% участников, завершивших тестирование, продолжили использовать конверсионные стратегии после окончания эксперимента. У этих рекламодателей доля расходов в аккаунте на кампании с конверсионными стратегиями в январе — после эксперимента — была выше среднего значения показателей до и после теста.

Для эксперимента были отобраны 662 кампаний у 287 клиентов eLama — самостоятельных рекламодателей и агентств и фрилансеров. Заявку на участие отправили 56 рекламодателей, 30 экспериментов были запущены, 15 — завершились успешно. В остальных 15-ти или были нарушены условия проведения теста, или останавливались кампании — из-за нехватки бюджета или действий рекламодателей.

Автоматические стратегии превзошли ручное управление ставками по трем ключевым показателям (оценивались данные по итогам вторых двух недель теста, когда стратегии вышли из обучения):

• наименьшая средняя цена за конверсию (CPA);
• наибольшее количество конверсий — достигнутых ключевых целей;
• отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.

Кампании из проведенных по всем правилам экспериментов продвигали проекты в 10 тематиках.

По стоимости цели автостратегия показала лучший результат в тематиках «Лекарственные препараты и БАДы», «Образование», «Уход за домом». Цена конверсии в таких кампаниях была на 37–47% ниже, чем в кампаниях с ручным управлением.

Больше конверсий, чем ручное управление ставок, автостратегии принесли в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги». Разница в количестве достигнутых целей составила от 30 до 62%.

Эксперимент проводился с 25 октября по 19 декабря 2021 года, тестовые кампании работали четыре недели. Кампании отбирались по критериям:

• Настроено ручное управление ставками и назначены ключевые цели.
• Активные показы и накопленная статистика за последние 14 дней.
• Не менее 20 конверсий по одной из ключевых целей за последние 7 дней в кампаниях.
• В аккаунте работают минимум две рекламные кампании (если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента).

Тип кампании — поисковая или для сетей — был не важен.

A/B-тестирование проводилось с помощью инструмента в Яндекс Аудиториях, эксперимент настраивали специалисты Яндекса. Рекламодателю нужно было указать исходную кампанию, недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Специалисты Яндекса создавали две копии исходной кампании, в одной оставалось ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным клиентом.

Чтобы запустить эксперимент, рекламодатель выключал исходную кампанию и запускал две тестовые. Тест считался успешным, если выполнялись три условия:

• Две тестовые кампании работали непрерывно в течение четырех недель в период с 25 октября по 19 декабря.
• В кампаниях не менялись бюджет, стратегия, цена конверсии, средняя цена конверсии, модель атрибуции, не добавлялись и не удалялись ключевые цели. В кампании с ручным управлением допускалось изменять ставки, применять корректировки и использовать бид-менеджер eLama.
• Минимальный бюджет равнялся или превышал 4200 рублей в неделю (делился поровну на две тестовые кампании).

Во всех 15 кампаниях, завершивших тест, использовалась стратегия «Оптимизация конверсий», в четырех из них — рекламодатели выбрали оплату конверсий, в остальных — оплату кликов.

Решение о продолжении работы со стратегиями участники принимали самостоятельно.