(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date(); for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }} k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym"); ym(91535427, "init", { defer: true, clickmap:true, trackLinks:true, accurateTrackBounce:true }); ym(91535427, 'hit', window.location.href);
(function (d, ver) { var s = d.createElement('script'); s.src = window.__specials_cdn + 'SpecialBranding/top.min.js?' + ver; s.async = true; var container = d.getElementById('special-branding-top'); if (container) { s.onload = function () { new window['BrandingTop']({ container, content: { theme: 'light', link: 'https://go.vc.ru/aJIN', text: 'Повысим продажи с оплатой за результат', button: 'Начнём', color: '#cbe7f6', img: '', }, }); }; } d.body.appendChild(s); })(document, '__specials_version' in window ? window.__specials_version : 0);

Как «Яндекс» забирает «хлеб» у рекламных агентств — алгоритмы «Директа» в b2b-тематике

Стоит ли использовать автостратегии «Яндекс.Директа» при малом количестве конверсий, да еще в b2b-тематике? История про роботов, научившихся продавать подшипники. Кейс интернет-магазина PodTrade.

Заказчик — интернет-магазин подшипников https://podtrade.ru

Рекламный бюджет — до 300 000 руб.

Требуемая стоимость лида — до 1000 руб.

Сложность проекта — средняя (6 из 10)

Автоматические алгоритмы Директа отлично показывают себя в условиях больших данных — много трафика, высокий спрос, широкая аудитория и т.д. В узких B2B-нишах мы предпочитаем настраивать точные таргетинги вручную. Не палить же из пушки по воробьям.

Но, оказалось, не все так однозначно. Расскажу, как эксперименты с рекламой подшипников помогли снизить стоимость лида в 4 раза именно благодаря автостратегиям.

Клиент с не самым массовым продуктом

К нам в МАКО обратился PodTrade — интернет-магазин подшипников для сельскохозяйственных механизмов, автомобилей и т.д.

Владелец магазина не знал:

  • Сколько заказов приходят с платного трафика?
  • Сколько стоит каждый заказ?
  • Выгодна ли контекстная реклама в принципе?
  • Можно ли увеличить поток лидов (обращений или заказов) с рекламы?

Пришел к нам и поставил задачу — дать как можно больше лидов в рамках бюджета.

В работе с проектом мы:

  1. Заморочились и собрали большое семантическое ядро с тысячами товарных НЧ-ключей и написали для каждого точное объявление… но не получили результата
  2. Запустили динамическую товарную кампанию на основе фида с ручным управлением ставками — и повысили эффективность втрое
  3. Перевели динамическую кампанию на автостратегии — автоматическое управление ставками — и получили еще 50% прироста
  4. Получили жесткий обвал эффективности авто-РК, но быстро нашли причину — виноват человеческий фактор
  5. Снизили стоимость лида в небрендовом сегменте рекламы с 3 800 р. до 980 р. и увеличили их количество

Реклама без аналитики — деньги на ветер

Нужно точно знать, какое объявление, по какому запросу, в какой рекламной системе принесло заказы, чтобы посчитать сколько стоило их привлечение. Тогда можно сравнить разные рекламные кампании, понять , что приносит результат, а где сливается бюджет. Мы не беремся за размещение рекламы, пока не настроим подсчет всех метрик.

  • Настроили основные цели в Я.Метрике. Положил ли клиент товар в корзину, перешел на страницу оформления заказа, оформил его, нажал «купить в один клик». А также попросили подрядчика подключить возможность оплатить заказ онлайн.
  • Подключили Сalltracking. Это система, которая позволяет отслеживать, с какого источника клиент перешел на сайт перед тем, как позвонить в отдел продаж. Благодаря ей мы учитываем в аналитике заказы, оформленные по телефону

Делаем все вручную, чтобы комар носа не подточил

«Крафтовая» досконально проработанная вручную реклама многие годы работала эффективней автомата, которым пользовались только ленивые. Такая установка «старой школы» надолго засела в головах опытных директологов. Как может быть иначе, если мы собственноручно контролируем каждую деталь?!

Чтобы созданное вручную объявление как можно точнее подходило запросу пользователя, мы разделили кампании на сегменты:

  1. Отделили Москву от регионов — в столице гораздо больше рекламодателей, поэтому цена клика выше. В регионах можно сэкономить, так как ниже ставки.
  2. Разбили регион по типу устройства: десктоп или смартфон. Это потребители с разным поведением, поэтому для каждого свои объявления и стратегии.

Запустили на каждый сегмент 3 кампании:

  • брендовые запросы (указано название интернет-магазина).
  • товарные запросы (ищут конкретный подшипник).
  • общие запросы (ищут подшипники в целом).

У предыдущего подрядчика рекламные кампании были не сегментированы, поэтому даже если бы они знали источник каждого заказа, то оптимизировать рекламу было бы невозможно. Это как лечить больного со средней по больнице температурой.

Есть два способа настроить товарные рекламные кампании:

  1. С помощью «фида» — файла с информацией о всех товарах компании на сайте, который формируется автоматически;
  2. Вручную подбирать ключевые слова под каждый товар.

У клиента не был настроен фид, его начали готовить по нашей просьбе, но это заняло бы несколько недель, а останавливать продажи не хотелось. Поэтому мы решили добавить кампанию с «товарными запросами» вручную. Использовали сочетания бренда и конкретной модели: «подшипник 6203 nsk», «6900zz nsk подшипник купить» и т.д.

Кроме этого мы:

  • Изменили структуру аккаунта в Директе по принципу каталога на сайте: отдельная кампания с запросами «шариковые подшипники», отдельная с запросами «импортные подшипники» и т.д.
  • Проработали семантику — убрали из ключевых слов лишние запросы, добавили больше среднечастотных (от 500 до 2000 запросов/мес) и низкочастотных запросов (до 500 запросов/мес).
  • Добавили к ключам в точном соответствии запросы и в широком — без кавычек, чтобы учитывались любые словоформы.
  • Добавили к каждому объявлению соответствующие посадочные страницы.
  • Настроили кампании на ручное управление ставками.

В первую очередь мы надеялись на результат от кампаний с «товарными запросами». Клиент уже знает, какой подшипник ему нужен и хочет его купить. Конверсия таких запросов обычно высокая.

Результат — 40 человеко-часов улетело в трубу

Мы уже потирали руки: «Ну, сейчас лиды попрут, и понятно будет, какие рекламные кампании масштабировать, а какие отключить. Ничего сложного».

Но, не тут-то было. Чем дольше работали наши кампании, тем яснее становилось, что контекстная реклама не работает.

В основном, лиды приносили сегменты с названием магазина и с запросами «импортный». И если второе еще можно было приписать к себе в «заслуги», то кампания с брендовыми запросами работала точно не из-за нас. Как правило, по названию магазина ищут люди, которые либо уже покупали товары клиента, либо те, кто пришел по оффлайн рекламе или рекомендациям.

Статистика с разбивкой бренд/не бренд за 1-й месяц работы:

В сегменте «товарные запросы» ситуация была совсем плохой:

Обычно самые конверсионные ключи по названиям товаров, которые мы тщательно собирали вручную, дали убийственно высокую стоимость лида...

Что мы сделали не так?

Первым делом мы проверили настройки рекламных кампаний:

  • Верно мы понимаем запрос пользователя?
  • На правильные посадочные ведем пользователей?
  • Те ключевые слова используем?
  • В порядке наши ставки, не проигрываем ли аукцион?
  • Правильно настроили цели в метрике?

Никаких проблем, которые могли бы повлиять на конверсию, мы не нашли.

Кто-то на этом бы и остановился: «У нас все правильно настроено, просто ваш сайт так работает / со спросом что-то случилось / конкуренты давят». Но мы знаем, что большинство проблем при запуске проекта связано с непониманием логики поведения пользователя.

Копаем вглубь — анализируем поведение аудитории

На другом проекте было такое, что все метрики настроены правильно, а заказов ноль. Оказалось, мы не учли поведение пользователей:

  • Прежде, чем совершить целевое действие, они проводили до 3 часов на сайте. Метрика ставила таким визитам источник «Внутренний переход» и они не попадали в нашу аналитику.
  • Клиенты оставляли контакты в чате на сайте, менеджеры перезванивали и оформляли заказ. Это тоже не учитывалось в аналитике.

Мы неправильно проводили оптимизацию и реклама была неэффективной. Поэтому и с подшипниками стали «копать глубже» в поведение пользователей.

Мы неправильно проводили оптимизацию и реклама была неэффективной. Поэтому и с подшипниками стали «копать глубже» в поведение пользователей.

В первую очередь мы посмотрели на:

  • среднее время сессии на сайте,

  • показатель отказов,

  • пол, возраст, устройство и прочие метрики.

Все было в тех же пределах, что и в компаниях из сегмента «по бренду», которые давали заказы.

Тогда мы послушали записи разговоров пользователей с менеджерами и нашли причину неудач. В разговорах клиенты жаловались, что:

  • им пришлось потрудиться, чтобы найти нужный подшипник;

  • они не смогли самостоятельно найти товар, поэтому решили набрать и уточнить по телефону.

Нашли проблему через вебвизор

Чтобы понять, почему пользователи не могли найти конкретный подшипник на сайте, мы понаблюдали за их поведением через вебвизор. Это сервис Яндекса, который фиксирует каждое действие пользователя на сайте и показывает его в формате видео.

Мы нашли проблему в запросах, по которым пользователи переходили в карточку товара. Например, посетитель вбивал в поисковике Яндекса запрос «подшипник 6305 KOYO», а мы показывали объявление, которое ведет на страницу с товаром «подшипник 6305 KOYO». Казалось бы, все логично, но нет.

В 40% случаев мы не угадывали. На самом деле он искал другой подшипник — «6305 ZZ CM KOYO», но в поисковике вбивал сокращенный вариант. Пользователь не получал то, что хотел, разочаровывался, и либо сразу уходил, либо пытался сам найти его на сайте.

Мы поняли, что вручную разобраться со всей номенклатурой магазина не сможем, нужно автоматизировать процесс.

Отключаем ручные кампании и запускаем динамические на основе фида

У рекламной системы есть набор карточек товаров (фид), которые она может показать по запросу пользователя. Если запрос соответствует нескольким карточкам товаров (как получалось у нас), то она проанализирует десятки параметров за доли секунды и покажет наиболее релевантную из них.

На это способно только машинное обучение алгоритма аукциона — это называется «динамический показ объявлений».

Заказчик к этому моменту уже подготовил такой «фид», и мы запустили динамические показы с ручным управлением. То есть, определили для разных групп товаров (это называется «фильтр») свою стратегию назначения ставок.

Результат — лиды втрое дешевле и в 2,5 раза больше

К концу второй недели мы снова начали получать лиды. А еще через пару недель их стало в 2,5 раза больше, а стоимость снизилась почти втрое.

Товарные кампании на основе фида были в разы лучше, чем в первый месяц:

Система точнее определяла запрос пользователя и вела его на правильные карточки товаров. Ожидание и реальность совпадали, пользователи чаще заказывали товары.

Все опять сломалось — резкий провал в работе динамических РК

В начале третьего месяца работы результат стал снова ухудшаться. Объем трафика по кампаниям оставался такой же, а конверсия пошла вниз, лидов стало меньше.

Мы предположили, что системе может понадобиться время на настройку своих алгоритмов показа. Поэтому решили не вносить особых изменений в кампанию.

Подождали 10 дней, но конверсия продолжила падать.

Надо было что-то делать...

Нашли, кто все сломал! В работу алгоритмов вмешался человеческий фактор

Первым делом мы проанализировали статистику. Усилили те кампании, ключи и группы товаров в фиде, которые приносили конверсии и отключили те, что не работали.

Это не дало результата. Помимо того, что количество конверсий падало, стало больше отказов. Мы заглянули в вебвизор.

Оказалось, большинство посадочных вело на 404 ошибку — «страница не найдена»! Как такое могло произойти, ведь фид генерируется автоматически? Созвонились с клиентом.

Оказалось, что он проводил эксперименты на сайте и забыл обновить фид. Мы объяснили важность своевременного обновления фида, откатили назад все корректировки и снова запустили первоначальную стратегию в кампании.

Конверсия поползла вверх и показатели приблизились к нашим изначальным значениям. Фид исправили на 15 неделе:

Полностью убираем человека из системы — переводим динамические РК на автостратегии... Бинго!

Клиент был доволен результатами за первые 4 месяца. Тем не менее, останавливаться на достигнутом не хотелось. Мы предположили, что оптимизация ставок вручную — это самое слабое звено в связке «пользовательский запрос — ставка — релевантное объявление».

Улучшить результат можно, если полностью отдать управление кампании алгоритму поисковика. Автоматика быстрее реагирует на изменения аукциона, и определяет какой из пользователей с большей вероятностью готов к совершению целевого действия. В этом ей помогает специальный математический алгоритм. Человек же может только «угадывать».

Для успешного запуска автоматической стратегии у нас все было готово. В справке Яндекс.Директ написано, что нужно не меньше 10 конверсий в неделю. У нас было 7-9, но и этого было достаточно. Специфика магазина была такой, что пользователи точно знали какой им продукт нужен, поэтому система могла быстрее обучиться.

В первый месяц работы автоматической стратегии результат был примерно на том же уровне, что и при ручном управлении, поэтому мы не вмешивались в работу алгоритма. Машинному обучению нужно время.

К середине второго месяца работы алгоритма лидов стало больше, но выросла и их стоимость. Алгоритм учился, и к концу месяца, стоимость заказа упала, а количество осталось то же. Гипотеза подтвердилась.

Выводы — а нужен ли человек, или теперь ИИ правит балом?

Мы убедились, что автоматические стратегии Яндекса, при правильных настройках, могут эффективно работать и в узких B2B-тематиках. Мы можем только догадываться как устроена работа рекламного «движка».

Автоматизированная закупка трафика учитывает все скрытые от нас параметры системы и позволяет:

  • выигрывать больший процент аукционов по низкой ставке,

  • подбирать целевую аудиторию на основе ее поведения,

  • угадывать точный момент показа рекламы конкретному пользователю.

В отличие от человека, системе нужно значительно меньше ресурсов и времени для того, чтобы подобрать самый оптимальный вариант и получить результат.

Сможет ли Яндекс доказать абсолютное превосходство алгоритмов над человеком и отобрать хлеб у агентств — покажет время. Но пока, автостратегии — это не автопилот, которому достаточно задать точку на карте и он сам долетит. Чтобы работали, нужно понимать поведение потребителей и уметь анализировать метрику сайта:

  • разобраться в поведении пользователей и учесть все конверсии — иначе будет много отказов и ложных лидов;
  • дать алгоритму достаточное количество целевого трафика для обучения — не менее 10 конверсий в неделю;

  • Запастись терпением — алгоритму нужно время на обучение, поэтому нельзя паниковать при первых же неудачных результатах и все ломать.

Радует, что низкоуровневый ручной труд в работе директолога скоро канет в лету. Возможности алгоритмов будоражат воображение. На арену выходит киборг в одиночку эффективно управляющий сотней проектов… По-моему, это прекрасное будущее :)

Спасибо!

Андрей Горностаев, технический директор и собственник МАКО

Другие наши кейсы

(function (d, ver) { var s = d.createElement('script'); s.src = window.__specials_cdn + 'SpecialBranding/bottom.min.js?' + ver; s.async = true; var container = d.getElementById('special-branding-bottom'); if (container) { s.onload = function () { new window['BrandingBottom']({ container, content: { theme: 'light', link: 'https://go.vc.ru/aJIN', text: 'Повысим продажи с оплатой за результат', button: 'Начнём', color: '#cbe7f6', img: '1ab2e505-fa96-51cc-be70-c38b07e1ab82', }, }); }; } d.body.appendChild(s); })(document, '__specials_version' in window ? window.__specials_version : 0);
0
52 комментария
Написать комментарий...
Oleg Dubovitskiy

40 Лидов за месяц. Как на такой выборке вообще можно делать вывод что автоматическая рк лучше ручной?) 

Ответить
Развернуть ветку
MAKO-digital
Автор

В реальной работе зачастую нет столько времени и денег у заказчика, чтобы получать статистически значимые данные по макроконверсиям. Приходится делать допущения и тестировать гипотезы на меньших выборках. В таких условиях профессионал должен принять решение - двигаться по воронке вверх и использовать микроконверсии , или все же опираться на небольшое число макроконверсий с вероятностью принять неверное решение. Мы обычно выбираем второе, если макроконверсий хотя бы несколько десятков. Сам Яндекс на конференциях приводит кейсы , демонстрирующие эффективность автостратегий на малом числе данных. У нас нет причин этому не верить.

Ответить
Развернуть ветку
Трафик Директян

Открою вам страшную тайну. Что бы оценить значимость на небольших выборках, в статистике тоже есть для этого инструменты. Но судя по тому, как вы конверсии из стажеров в джуны считаете и оцениваете, вам бы всей командой не помешало с нуля погрузиться в эту тему) ✌️

Ответить
Развернуть ветку
Артур Дунайцев

А вы не забудьте клиенту, который 20к за услуги 3 спецов за месяц заплатил, продать сверху или в штат услуги нормального аналитика за 120к/мес.

Я как бы уже давненько не в агентстве, продакчу там, вся фигня. И как вспомню вот эти бюджеты по 30к на рекламу и 8к за услуги, и кококркетологов, приходящих с аудитами, которые говорят про статистику, про эксперименты, а у меня профильное образование, статистика мне снится - так и думаю. Вот ребята, наверное, молодцы, проекты у них все по 5миллионов в неделю, всего им хватает.

А то знаете, у меня прошлый продукт был из топ100 екома, а текущий из топ3 финтеха, и вот только-только хватает значимости выборок конверсии на то, чтобы данные были околоправды. А на топ100 достаточно 1 агентства в России (правда топ100, как это ни удивительно, живет инхаусами, это дешевле).

Остальные с экспериментами самообмана, сквозными аналитиками в роистат (посмотри там, опухла или как) и т.п - друг друга лучше и понятней.

Че вы там сведете на 40 лидах? Какая нахер разница, с какого из 2000 запросов три Лида а с какого четыре? Это статистическая погрешность, ценность любого вывода на основе этого - 0 без палки. Зато много времени и умных слов заказчику, потраченные впустую. Ряды ещё нормируйте по объему трафика, чтобы от гетерескедастичности избавиться во времени, а потом прогноз на Стьюденте прогоняйте, и такие "ой, у нас р-квадрат 0.77, маловато", и доверительные интервалы разъехались. И че дальше-то делать с данными, которых нет?

Для понимания аналитика должна тратить не больше 10 процентов бюджета. Посчитаем (тока не роистат, который коллтрекинг с графиками):

1) нормальный аналитик с нормальным знанием статистики в штат -115
2) сервак с данными и дата-инженкр (пусть на аутсорсе) , чтобы данные в куб складыаал - пусть ещё 50.
3) девопс все поддерживать пару раз в месяц - тыщ 15 в мес
4) нормальный качественный веб- аналитик, способный пробросить события и нормальный бэк и фронт, способные сделать правильно, написать сервис по разделению аудиторий (бесплатные не предлагайте, раз не пробовали-нехер советовать), да пробросить в тот же кастом дименшн версию, да ещё и сессии разделять по uid, да еще и не дай бог на spa- приложении с пробросом location, с кастомным переписыаанием кук, да еще и в принципе понимающим, что такое атрибуция на разные каналы и как строить её самостоятельно (не, ну правда, вы че, по последнему клику конверсию считать будете? Или по первому? Или ласт пэйд куки вин? Какие нахер Лиды вообще, мы тут продажи считаем, когда про сквозняк говорим, там еще 80 процентов отказа на последующих шагах) - еще 120 в месяц по минималочке на аутсорсе все

Посчитали? 300к в месяц обходится сквозная аналитика. В месяц, не разово. А у них бюджет 200. А вы предлагаете не сквозную аналитику, а я Яндекс метрику ту же самую, но уверены, что это сквозняк. Это не сквозняк, батенька, это слив бабок на инструмент, который врет в лицо не хуже Троцкого. Уж лучше врать себе бесплатно, чем за двадцатку. 

Ответить
Развернуть ветку
Трафик Директян

Я не совсем понял причём тут рассказ про сквозную аналитику. Но готов весь описанный скоуп работ на 300к делать за 40-50 к/мес на аутсорсе)  
Разверну dwh на bq
Настрою сервер под etl
Проброшу все данные и создам витрины
Сделаю Дашик в bi 
Обращайтесь) 

PS: Вы правы что юнит-экономика может не сойтись, и что ценность от эксперимента может быть нулевой. Но я тут не причём, извините) И к вопросу на который я отвечал выше отношение имеет косвенное. Так же можно и ещё 50 разных тем приплести, про Инопланетян, Америку…

Ответить
Развернуть ветку
Артур Дунайцев

Да не сможете вы это делать на аутсорсе. 1 дашборд в BI в месяц - это звучит ок для маленьких компаний. А если вам каждый день надо данные вгружать в куб, связывать, делать новые отчеты - это уже штатный аналитик, а то и не один. Сказать я тоже смогу. Но, к сожалению, реальность говорит, что мало сказать, надо делать. И когда у вас не 1, а 60 отчетов, и каждый надо расширять, то приходится иметь и датаинженера и аналитика в штате. Разовая работа по созданию инфры может и да, в 50 (не верю!) в 150 уложится. А когда вам надо атрибуцировать конверсию через бэкенд/фронтовый бэк, вы сразу уже без компетенций внутри инфры заказчика. 

Хорошо продуктам, где прямой трафик и все - там нет этой атрибуции, и ваша схема впишется. У меня сейчас так. Как только влетает еком-проект, то все, готовьтесь или делать полностью или не делать, и упираться в вышеуказанные суммы. 

Ответить
Развернуть ветку
MAKO-digital
Автор

С удовольствием изучим вопрос и применимость данных инструментов в наших реалиях. Киньте ссылку, интересно.

Ответить
Развернуть ветку
Трафик Директян

Решая задачу в лоб, гуглите: про непараметрические критерии и критерии для малых выборок и бутстрап для оценки а/б тестов.

Решая бизнес-задачу гуглите про прокси-метрики и байесовский вывод.

Ответить
Развернуть ветку
Джон Крайтон

Мне тоже интересно!

Ответить
Развернуть ветку
49 комментариев
Раскрывать всегда