Мне нравится, продолжай: как небрендовый трафик влияет на бренд
В Модульбанке решились на смелый и масштабный эксперимент: отключили небрендовую рекламу в некоторых городах на 3 месяца. Результаты оказались весьма интересными – делимся наблюдениями в кейсе.
Здравствуйте! Спасибо за статью!
Есть несколько вопросов по сетапу исследования :
1. Есть ли возможность получить график с подписанной осью X которая позволит связать озвученную цифру в 17% c положением дел на графике? (см картинку) Добавить туда же показатель января тоже хорошо бы и написать исследуемую величину
2.Как был посчитан форкаст на графике? Если до эксперимента - то что предсказывало падение?
3. Может раскрыть суть термина "брендовая частотность"? - Около графика говорится что падает она, а во всем тексте до этого термин не встречается и речь идет о конверсии.
4. Насколько с вашей точки зрения корректно для статистики использования в A/B тесте выборок с принципиальным разрывом в уровне целевой величины (линии даже до эксперимента значимо различаются)?
5. Не смущает ли вас различия в динамике марта - где что-то, что изображено на графике растет по разному в тесте и в контроле. В тесте с лучшей динамикой?
И по бизнес части
Ок, поняли что небренд генерирует 17% бренд трафика + что то еще свое, и стоит РКО в нем намного дороже.
Существуют ли способы увеличить объемы закупки брендового трафика за бюджет небрендового? Или речь идет о том, что можно отказаться от части дорогих лидов - значительно сократив затраты и незначительно - бюджет.
Здравствуйте! Рада, что понравилась статья или хотя бы натолкнула на размышление :)
1. Имеется ввиду ось Y, верно? Другая ось подписана - по ней отложены месяцы. Мы специально замазали абсолютные цифры, ибо не разрешили нам показывать их. График какой величины изображен - это наша брендовая частотность (число запросов пользователей, на наш взгляд связанные с модулем, в рассматриваемый месяц на оси Х)
2. Форкаст считался от динамики контрольной группы. Экспериментальные точки контрольного графика хорошо повторяют график полиномиальной функции пятого порядка. Если такую динамику наложить на тестовые точки до эксперимента, посчитать полученные коэффициенты полинома и продолжить его график на период, когда тест уже начался, то получится форкаст. Т.е. "каким было бы поведение в тесте, если бы дела там развивались как в контроле"
3. "брендовая частотность" - это частотность запросов пользователей яндекса по ключевым словам, имеющим отношение к поиску сайта модульбанка
4. Считаем, что отличаются они в пределах нормы. То есть да, есть отличие, но в обеих группах данных в абсолюте достаточно, чтобы их резкое падение в одной из групп не связывать со стат. погрешностью
5. Тест был начат в середине марта, а не в начале, поэтому март мы в принципе не учли в форкасте, смотрели на полные месяцы - апрель и май. При резком отключении небрендовой рекламы мы наблюдаем ее влияние еще в течение некоторого времени.
Исчерпывающего ответа дать не могу, почему так и настолько получилось - мы пока сами это обдумываем, тест-то совсем свежий. Одна из гипотез: некоторые пользователи (наши клиенты в том числе), могли искать сайт модуля через небредовые запросы типа "открыть расчетный счет" - потому им раньше так удавалось найти наш сайт, после отключения рекламы по таким запросам у них не осталось иного выхода, кроме брендовых запросов
По бизнес части:
Увеличить закупки брендового за счет небрендового именно в перфоме - нет, не вижу таких возможностей)
В целом мы поняли, как выстроить наши цели по цене за клиента в разных каналах, чтобы не генерировать убытки и не лишиться объема в других источниках траффика при оптимизации + сэкономленный бюджет будем пускать на другие не-перфом источники и замерять их влияние на бренд по похожей методике. Ну и, конечно, будем считать, а не дороже ли это стОит, чем наш оптимизированный перфом