Лого vc.ru

Кейс из России: Исследование аудитории email-канала Banki.ru при помощи когортного анализа

Кейс из России: Исследование аудитории email-канала Banki.ru при помощи когортного анализа

Команда платформы для отправки писем Expertsender поделилась с редакторами рубрики Growth Hacks результатами исследования аудитории email-канала информационного портала Banki.ru при помощи когортного анализа.

Поделиться

Ранее мы писали о когортном анализе и его применении на несегментированной базе. Теперь на примере информационного портала Banki.ru расскажем, какие выводы можно сделать в анализе пользователей с различным источником трафика.

Разделение подписчиков на источники позволит сравнить их между собой и для каждого источника определить способ улучшения показателей. В частности, можно будет ответить на следующие вопросы:

  • Какой источник стоит улучшить, чтобы получить наибольший эффект?
  • Изменение какого источника не даст результат?
  • Какой источник исчерпал себя и его следует закрыть?

Размер когорты равен неделе. Количество когорт – 100, то есть анализ проводился примерно за два года. Исследуемые источники трафика: кредит, автокредит, дебет, вклады и ипотека. На графиках отсутствуют показатели активности.

Перед проведением анализа возникло две основных трудности:

  • так как рассылка проводится только по активным подписчикам, то использовать привычные показатели (процент открытий, кликов, жалоб, отписок) бессмысленно. С каждой рассылкой количество неактивных пользователей уменьшается, соответственно снижается количество отправленных писем. Из-за этого показатели активности не изменяются, так как не изменяется количество активных подписчиков;
  • у каждого источника трафика разная скорость добавления пользователей. Например, у источника «кредит» поступление подписчиков было регулярным, поэтому выбор размера когорты в одну неделю оправдан. А у источника «ипотека» пользователи добавлялись нерегулярно. Согласитесь, анализировать данные, когда в одной когорте 250 подписчиков, а в другой 5 — бессмысленная затея.

Первую проблему удалось решить, взяв за измеряемый показатель величину «активные подписчики». Это те подписчики, которые открыли хотя бы одно письмо за период времени, равный размеру когорты. Таким образом, показатель зависит не от количества отправленных писем, число которых уменьшается пропорционально увеличению числа неактивных подписчиков, а от общего количества пользователей в когорте, число которых незначительно уменьшается только за счёт отписчиков и жалобщиков.

Что касается второго пункта, то проблема решена увеличением размера когорты у источников трафика «дебет» и «ипотека» с 7 до 28 дней. Это позволило получить данные без нулевых когорт. При таком подходе есть вероятность, что размер когорт у этих источников будет выше, так как времени на сбор подписчиков у этих источников было в 4 раза больше.

Легче всего это проверить, взглянув на диаграмму размаха каждого источника. По этой диаграмме видно точное распределение когорт в каждом источнике трафика. После удаления когорт, являющихся выбросами, диаграмма размаха имеет вид, показанный на рисунке 1. В данном случае выбросами являются те когорты, количество подписчиков в которых сильно отличается от остальных когорт в данном источнике.

Рисунок 1. Распределение числа подписчиков в когорте в зависимости от источника трафика

Если основываться на медиане каждого источника (величина, которая делит выборку на две части – меньше медианы и больше) и межквартильном интервале (голубая область на графике), то и без точных количественных показателей можно дать оценку каждой группе. У источника трафика «дебет» и «автокредит» медиана близко расположена к одному из квартилей, а значит выборка несимметрична.

Нижним квартилем является величина, значение которой больше 25% значений в выборке, а верхним квартилем является величина, значение которой больше 75% значений в вуборке. У «дебета» преобладают когорты с малым числом подписчиков, а у «автокредита» с большим. У «вкладов», «ипотеки» и «кредита» выборка симметрична, но большой разброс данных. При этом ни у одного из источников нет большого перевеса в количестве пользователей в когорте. Все эти факты необходимо учитывать при анализе активности.

В статье будем оперировать следующими понятиями: время «жизни» подписчика и диапазон затухания. Время «жизни» это та неделя, когда непостоянные пользователи теряют интерес к рассылке. Диапазон затухания – разность между показателем активности в первую неделю и активностью в точке затухания. На примере источника трафика «вклады» (рисунок 2) видно, что непостоянные подписчики уходят на 10-ой неделе «жизни», а диапазон затухания – разность между активностью в первую неделю и в 10-ую. Точками на графике обозначена активность каждой когорты в различный период времени.

Рисунок 2. Показатель активности подписчиков с источником трафика «вклады»

Что касается диапазона затухания, то если он приблизительно равен 0, то перспектив для развития емейл-маркетингового канала не так много и единственный способ увеличить прибыль – привлекать большее число пользователей на этот источник за счёт других видов интернет-маркетинга. Если наоборот, диапазон затухания имеет большое значение, то это говорит о несоответствии ожидания подписчиков от рассылки, но также говорит и о том высоком потенциале такой рассылки. На рисунке 3 показан сравнительный график всех источников трафика.

Рисунок 3. Сравнение всех источников трафика

По графику можно сделать следующие выводы:

у источника трафика «дебет» наивысший показатель активности. Причин такому явлению может быть несколько:

  • размер когорты 28 дней вместо 7-и. В этом случае у подписчика было в 4 раза больше шансов открыть хотя бы одно письмо, чем у пользователей с другими источниками. Возможно, по этой причине диапазон затухания равен 0. Против такого вывода говорит то, что у пользователей с источником «ипотека» размер когорты такой же, но на активности это никак не сказалось;
  • как мы уже отмечали, у источника «дебет» преобладают когорты с малым числом подписчиков. Такие когорты ведут себя непредсказуемо и могут спонтанно показывать как хорошие, так и плохие результаты;
  • из-за того что у источника «дебет» размер когорт в 4 раза больше, то количество когорт в 4 раза меньше, а соответственно и меньше число измерений. Количество измерений возрастает пропорционально количеству когорт по арифметической прогрессии. И если в исследовании принимает участие 100 когорт, то число измерений будет 5050, а при 25-и когортах всего лишь 325. Это напрямую влияет на размер доверительного интервала (серая область вокруг графика) и на достоверность данных.

У источника «ипотека» такая же ситуация, как и у «дебета» — диапазон затухания равен 0. Но если у «дебета» высокий показатель активности, то у «ипотеки», напротив, низкий. Изменение рассылок для этих источников не даст ощутимый результат, поэтому у «дебета» перспективным направлением для улучшения является привлечение большего числа подписчиков, а у «ипотеки» нужно менять подход к отправке писем.

Среди остальных источников у «вкладов» самый низкий диапазон и самая высокая скорость затухания. Как ни странно, но потенциальным ростом данного источника будет расширение диапазона затухания. Стартовое письмо необходимо сделать более привлекательным, чтобы увеличить процент в первую неделю, а вслед за этим увеличится и число постоянных пользователей. Улучшение у этого источника будет за счёт количества!

У источников «кредит» и «автокредит» диапазон затухания гораздо выше, чем у «вкладов». Здесь показатели необходимо улучшать не за счёт количества (это даст эффект только на первых этапах рассылки), а за счёт качества. Необходимо вводить цепочки специализированных писем и планомерно улучшать показатели рассылок, сужая диапазон затухания.

Конечно, мы проанализировали только часть, касающуюся активности подписчиков в рассылке. Также можно учитывать информацию о стоимости привлечения подписчика и прибыли, которую он приносит за время жизни в рассылке. Но даже и без этих данных достаточно точно можно сравнить источники и определить наилучший из них, разобрать отдельно каждый канал и выявить, ухудшается отношение к рассылке с течением времени или нет, найти точку затухания интереса к рассылке и много другое.

Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта, на what@growthhacks.ru. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.

Статьи по теме
Кейс: Исследование аудитории интернет-магазина «Техносила» при помощи когортного анализа12 ноября 2015, 13:48
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

кредит, автокредит, дебет, вклады и ипотека. вклады? вклады?! Денег нет сейчас. Вы держитесь! Вам всего доброго, хорошего настроения.

"Сейчас" - это когда именно и почему именно сейчас у вас нет денег?

0

"нижний квартиль"...

0

ничего не понял но спасибо было интересно)

0

Даниил, напишите мне Ваши вопросы, например, в fb и мы их обязательно обсудим)

0

"Исследуемые источники трафика: кредит, автокредит, дебет, вклады и ипотека. "

наверное все привыкли что источники это дисплей, контекст, директ и тэдэ.

и дальше по тексту тоже самое - продрираться не хватает сил. вы плохо разжевали ваш подход. пишите для тупых, станете популярны.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Дмитрий Лимонов

потому что ресторан не означает "дорого, бохато", как привыкли в РФ. Это всего лишь пункт общественного питания. Да, есть элитные рестораны, а есть в формате закусочных. Мир не кончается там, где ваши представления о нём не совпадают с реальностью.

«Будьте нашим гостем»: кому McDonald's даёт право бесплатно есть в своих ресторанах
0
Владимир Тихомиров

Похоже, пора на собеседовании в Яндекс спрашивать, в самом конце: вилкой в глаз или в жопу раз? И оценивать креативность процесса поиска правильного ответа... Будем перенимать международный опыт с адаптацией под наши условия, так сказать

Бывший глава Google затруднился ответить на один из традиционных вопросов компании на собеседованиях
0
Александр Васильев

Тогда и накопления пойдут больше и быстрее - мы же одинаковые условия считаем, если при ипотеке зп выросла, то берем что и при вкладе зп растет. Разница безусловно будет, но не на порядок.

«Никому не выгодно, чтобы у вас скапливались деньги»
0
Artem Zinnatullin
Juno

Не собираюсь оправдывать ролик сбера, но если вы про вот это видео с футболистом youtu.be/VGEfNcvntno, то оно ничем не лучше, тк там блин оператор(ы) по полю бегают, сверху съемка ведется и рядом с полем люди явно не на телефон снимают. Всем участникам было понятно, что это какой-то прикол. Была бы скрытая съемка — без вопросов.

Так можно и в сбере снять реального инвалида, но с кучей операторов, камер и режиссером рядом, понятное дело, его будут обслуживать максимально хорошо.

Видео: Герман Греф в «костюме инвалида» в отделении «Сбербанка»
0
Artem Zinnatullin
Juno

Я может не понимаю, но в чем большая разница между "в имитирующем инвалида костюме" и "под видом инвалида"?

Не вижу "небо и земля" на скриншоте. У всех одинаково желтушные заголовки.

Видео: Герман Греф в «костюме инвалида» в отделении «Сбербанка»
0
Показать еще