Лого vc.ru

Как определить причины роста и падения проекта при помощи сегментации

Как определить причины роста и падения проекта при помощи сегментации

Аналитик компании ZeptoLab, создавшей популярную игру Cut the rope, Олег Якубенков в свободное от работы в своем скромном блоге Go Practice делится секретными приемами исследования аудитории проекта. ЦП обратился к Олегу с просьбой написать для нас серию материалов «Курс аналитики», а он согласился. В первом выпуске — рассказ о сегментации. В качестве бонуса — задачка от автора.

Поделиться

Большинство тех, кто работает над мобильными приложениями и сервисами в интернете, понимают важность системы метрик для успешного развития и управления продуктом. Метрики — это система координат продукта. Ориентируясь на метрики, вы ищите узкие места, а также понимаете, как производимые вами изменения влияют на продукт.

Аналитика по своей сути — это цикл обратной связи на ваши действия. У вас, как у человека, большое количество таких циклов обратной связи, и именно им вы обязаны вашей способности осмысленно жить и учиться. Когда вы работаете над продуктом, то по умолчанию такой системы обратных связей нет, поэтому для эффективной и осмысленной работы вам ее необходимо создать самостоятельно. Именно с этой целью встраиваются системы аналитики, настраиваются мониторинги и работают аналитики, которые, используя данные, ищут пути достижения целей компании.

Но иногда метрики становятся бесполезными, а иногда вводят в заблуждение и отправляют по ложному пути. Например, вы можете ошибиться в выборе системы координат, то есть неправильно подобрать ключевые метрики. А можете заняться теоретезированием и придумать ложную теорию, которая объясняет поведение метрик вашего продукта в прошлом, но, скорее всего, не в будущем.

Другая распространенная ошибка заключается в том, что при работе с данными продукт рассматривают как единое целое, когда рассчитываются ключевые метрики для всего продукта. Именно об этой ошибке сегодня и пойдет речь.

Какие ошибки можно допустить, игнорируя сегментацию

Подход к аналитике, когда продукт рассматривают как единое целое и считают ключевые метрики для всего продукта целиком, может привести к ошибкам и неверной интерпретации данных. Я не говорю, что считать метрики для всего продукта не надо (надо), но для понимания сути проистекающих процессов этого недостаточно. Давайте рассмотрим несколько примеров, иллюстрирующих эту мысль.

Пример 1

Предположим, что вы регулярно следите за скачиваниями вашего приложения. Для этого вы отслеживаете количество скачиваний по дням. При этом количетсво скачиваний колеблется на +-5% день ото дня, и вы знаете, что это совершенно нормальное явление.

Теперь представьте, что в определенный день ваше приложение перестают скачивать, например, во Франции. Франция обеспечивает не более 1-2% всех скачиваний вашего приложения, поэтому подобный провал будет незаметен на фоне ежедневных колебаний и пройдет мимо вас.

Для того, чтобы этого не произошло, необходимо выделить несколько основных рынков, которые обеспечивают основную часть скачиваний в отдельные сегменты, а все остальные рынки поместить в отдельную категорию «Остальные». Даже если Франция попала бы в эту специальную категорию «Остальные», то в рамках этой категории спад из-за отсутствия скачиваний во Франции был бы намного более контрастным и не остался бы без вашего внимания.

Пример 2

Представьте себе крупную компанию с несколькими продуктами. За последний год половина продуктов компании успешно развивались и росли, а по другим направлениям показатели падали. В итоге в финальной отчетности показатели по всей компании остались на одном уровне.

Если не выделять и не считать ключевые показатели для отдельных направлений, то можно решить, что все стабильно и ничего не происходит, когда на самом деле проистекает огромное количество важных процессов. Просто эти процессы взаимокомпенсируют друг друга, поэтому оказались скрыты от вашего взора.

Пример с компанией — условный. В рамках любого интернет-сервиса или мобильного приложения также проистекает множество процессов, которые на общих метриках по всему продукту могут взаимокомпенсировать друг друга, оставляя вас в неведении.

Пример 3

Представьте себе страну, в которой живут великаны и гномы. Если мы посчитаем «средний рост жителя», как среднее арифметическое роста всех жителей страны, то полученное значение нам ничего не расскажет о росте представителей рассматриваемой страны.

Но мы можем выделить великанов в один сегмент, а гномов в другой, а потом посчитать средний рост в рамках каждого из сегментов. В таком случае средний рост станет осмысленным значением, хорошо описывающим рост представителей выделенных сегментов.

В описанных выше примерах расчет метрик для всей совокупности как для единого целого приводило к следующим ошибкам и заблуждениям:

  1. Пропущенное важное событие в рамках определенного сегмента;
  2. Видимость стабильности, когда в реальности проистекает большое количество важных, но взаимокомпенсирующихся событий;
  3. Метрики, оторванные от реальности (из разряда «в среднем по больнице»).

Метрики нужны для того, чтобы прояснить нам то, как устроена определенная совокупность, но, порой, рассматривая совокупность целиком, мы можем получить цифры, которые ничего не говорят об этой совокупности или о том, что с ней происходит.

Во всех описанных примерах для того, чтобы докопаться до сути происходящих процессов, использовалась сегментация. Сегментация позволяет выделить значимые части целого, изучить каждую в отдельности и оценить то, как каждая из этих частей, влияет на показатели всей совокупности. Сегментация — универсальный инструмент для проникновения в суть процессов.

Как выделять полезные сегменты пользователей

Ваши пользователи разные. Пользователи, которые попали на проект по ссылкам из органической выдачи поисковика, отличаются от тех, кто пришел по контекстной рекламе. Пользователи, которые используют ваше приложение на Android отличаются от тех, кто использует ваше приложение на iOS. Пользователи из США отличаются от пользователей из России.

Повторюсь: метрики, посчитанные для всех пользователей сразу, могут оказаться бесполезными, а иногда и вредными, вводящими в заблуждение. Я не говорю, что метрики для продукта целиком считать не надо — надо, но, скорее, для целей мониторинга и оценки общей ситуации. Для того, чтобы понять, как устроено целое и как с этим целым работать и влиять не него, необходимо выделить значимые сегменты, разобраться в том, как они работают и какое влияние оказывают на весь продукт.

Теперь встает логичный вопрос о том, как выделять сегменты пользователей. Ваша цель не просто как-то сегментировать пользователей, а получить значимые базисные сегменты, которые определяют поведение целого. Необходимо найти те переменные, которые обуславливают различие в поведении пользователей, но такие, чтобы в рамках каждого сегмента поведение пользователей было достаточно похожим. Вспомните пример со страной великанов и гномов. Если бы мы сегментировали жителей по цвету глаз, то, полученные нами значения роста для каждого из сегментов, опять же имели бы мало пользы.

Поиск значимых переменных обычно производится эмпирическим (опытным) путем. Вы берете имеющиеся у вас данные и рассчитываете ключевые метрики для разных сегментов, полученных при помощи сегментации по этой переменной. Если в полученных сегментах различий не нашлось, то можно переходить к следующей переменной. Если же различия нашлись, то важно проверить, что полученные различия — не результат влияния какого-то другого фактора, который вы выделили раньше или выделите потом.

В виде алгоритма логика может показаться сложной, но на практике все проще. В случае со страной великанов и гномов у вас могли получиться разные значения среднего роста для сегментов, выделенных на основе цвета глаз, но фактор цвета глаз не являлся значимым, так как различия в росте в полученных сегментах объяснялись разным соотношением великанов и гномов в каждом из сегментов.

В конечном итоге у вас получится ряд переменных, которые определяют различия в поведении ваших пользователей. Обычно среди этих переменных оказываются следующие:

  • источник трафика;
  • географическое положение (континент, страна, город); 
  • сезонные факторы (праздники, сезон отпусков);
  • характеристики девайса (операционная система, браузер, версия ос, тип девайса);
  • социально демографические показатели;
  • факторы, специфичные для вашего конкретного продукта (например, погодные условия для служб доставки еды).

В процессе сегментирования важно не зайти слишком далеко, так как при слишком большом количестве сегментов невозможно охватить всю информацию разом и понять, как каждый из них влияет на целое. Если одной крайностью является работа с продуктом, как с единым целым, то другой — выделение огромного количества сегментов. Ведь даже зная все про каждого отдельного пользователя, вы не найдете способа как применить эти знания, пока не структурируете и не агрегируете данные.

Кейсы использования сегментации

Управление и оптимизация маркетинговых активностей

Использование продукта различными сегментами пользователей часто отличается, ровно как и ценность различных сегментов для вашего бизнеса.

Это знание особенно актуально при выстраивании маркетинговых процессов. Если разные сегменты пользователей имеют различную ценность для вашего бизнеса, а также и различную стоимость привлечения, то логично привлекать тех, у кого соотношение этих двух показателей оптимально.

Давайте рассмотрим следующий пример. У вас есть сервис, который вы продвигаете в интернете. Есть посадочная страница, на которую приходят новые пользователи, и ее конверсия в регистрацию составляет 0,5%.

Если разобраться, то оказывается, что у вас есть четыре источника трафика — органический поиск, контекстная реклама в Яндексе, контекстная реклама в Гугле и баннеры в рекламной сети. При этом конверсия на посадочной странице для поискового трафика составляет 5%, для контекстной рекламы в «Яндексе» и Google — 2,5%, а вот для баннеров — всего 0,2%. При этом вы тратите существенную часть бюджета на баннерную рекламу, так как приведенный пользователь там обходится дешевле, чем в других платных каналах.

Когда вы сегментировали ваш трафик становится понятно, что если вы хотите в несколько раз повысить конверсию главной страницы, вам необходимо перестать покупать баннерную рекламу, а деньги, которые тратились на нее вложить в контекстную рекламу или в SEO оптимизацию.

Описанный выше пример хорошо иллюстрирует то, как с помощью сегментации можно повысить целевую метрику, но в этом примере я умышленно допустил ошибку, которая встречается повсеместно. Концентрируясь на каком-то одном показателе (в данном случае конверсии посадочной страницы в регистрацию), из виду теряется общая цель компании (пусть в данном случае это повышение прибыли). Более высокая конверсия посадочной страницы ведь не является единственным фактором, который определяет прибыль.

Прибыль в большинстве случаев определяется следующими двумя показателями — CAC (Customer Acquisition Cost или стоимость привлечения пользователя) и LTV (Life Time Value или сколько пользователь приносит вам денег за время использования продукта). В описанном выше примере вполне могло оказаться, что несмотря на низкую конверсию в регистрацию баннерного трафика, соотношение LTV/CAC для него было больше, чем, например, у покупного поискового трафика. В таком случае отключение этого источника трафика было бы неправильным решением. Подобная ошибка часто случается, когда маркетологи фокусируются на каком-то одном показателе (пусть даже важном), при этом теряя из вида всю картину целиком.

Автоматизация маркетинговых активностей

Описанная в предыдущем пункте логика лежит в основе построения маркетингового конвеера для привлечения клиентов. Эта логика достаточно просто превращается в алгоритм, что и сделал Григорий Бакунов из «Яндекса», помогая одному из проектов.

Очень рекомендую просмотреть видео с его рассказом про этот кейс. Эта история — замечательная иллюстрация применения сегментации, а также использования машинного обучения для автоматизации аналитической и маркетинговой деятельности компании.

То, что сделано для построения продвижения продукта, можно кратко описать следующим образом:

  1. На Facebook было создано огромное количество рекламных кампаний для разных сегментов пользователей (сегменты формировались на основе предполагаемых значимых переменных);
  2. Были подготовлены разные посадочные страницы;
  3. Был разработан алгоритм, который определял и выдавал оптимальную посадочную страницу для каждого сегмента трафика, оптимизируя целевую метрику (конверсию в покупки).

С моей точки зрения, не хватает лишь одного шага в этом алгоритме (хотя я предполагаю, что он делался вручную). Шаг заключается в отключении «плохих» источников трафика и перенаправлении их бюджетов на «хорошие» источники трафика.

Объяснение аномальных падений/взлетов метрик

Аналитика нередко используется для того, чтобы разобраться с тем, что уже произошло. А острая мотивация разбираться появляется при аномальном поведении метрик — либо при резких неожиданных падениях, либо же, наоборот, при необъяснимом росте.

Давайте рассмотрим простой пример. У вас есть приложение и им в среднем в день пользуются 100 000 пользователей. В определенный день вы видите, что суточная аудитория упала до 60 000 пользователей. Что делать, как разобраться, что случилось?

Первым делом имеет смысл начать сегментировать аудиторию по значимым переменным. Например, по странам. Предположим, что вы видите, что суточная аудитория в норме во всех странах, кроме Америки, которая и отвечает за весь спад. Таким образом, мы локализовали проблему до одной страны. Идем дальше — сегментируем пользователей из Америки по операционной системе и видим, что падение есть только в Android версии. Дальше сегментируем Android пользователей из Америки по версии приложения — видим, что падение есть в текущей и предыдущей версии, в других нет. Теперь проблема локализована, осталось вместе с командой разобраться в причинах.

Давайте рассмотрим другой реальный пример из моего опыта. Существует популярный веб-сервис, показатели по нему измеряются двумя системами аналитики. По показателям одной из систем наблюдается монотонный рост посещаемости, по показателям другой этого роста нет.

Чтобы локализовать проблему я вначале сегментировал пользователей по источникам трафика. Расхождение в показателях оказалось связано с расхождением в «прямых заходах» (то есть заходы на страницу без реферера, не по ссылке). Следующим шагом я сегментировал прямые заходы по географии — различия были во всех регионах, значит географическая принадлежность не влияла на расхождение. Далее сегментировал прямые заходы по операционной системе — в этот раз расхождение нашлось только в одном браузере — в Firefox. Последующая сегментация по версиям браузера показала, что причины расхождения прячутся в недавно выпущенной версии браузера, а если быть точнее то только в тех версиях, где было установлено расширение «Яндекса» с визуальными закладками.

После локализации проблемы осталось разобраться, как именно визуальные закладки «Яндекса» под эту версию браузера могли влиять на показатели посещаемости и почему эти расхождения были видны лишь в одной системе аналитики. Если не вдаваться в подробности, то проблема была в том, что визуальные закладки с определенной периодичностью самостоятельно посещали сайт, чтобы сделать его скриншот. Во второй системе аналитики проблема не проявлялась, так как Javascript, через который она собирает данные, не исполнялся при автоматическом заходе на сайт для получения скриншота.

Построение мониторингов

Еще одно полезное применение сегментации — построение мониторингов ключевых метрик вашего продукта. Дальше я расскажу о том, как я рекомендую строить мониторинги (дашборды).

Сначала предлагаю определиться с целью дашбордов. С моей точки зрения, их цель состоит в том, чтобы всегда видеть перед глазами ключевые показатели, отражающие «здоровье» бизнеса, а также быстро ловить аномальные ситуации из разряда резкое падение/подозрительный рост метрик.

Можно было бы вывести на графики сходу 100 пользовательских сегментов для всех ключевых метрик, но отслеживать подобный объем информации практически невозможно. Поэтому я бы рекомендовал использовать иерархический подход.

На верхнем (по умолчанию показываемом) уровне вывести основные метрики с минимальной сегментацией или даже без нее. Под каждым из этих графиков добавить ссылку на страницы с сегментацией этих метрик по определенным значимым переменным. На втором уровне повторить туже логику.

Подобная иерархия сохранит чистоту и простоту восприятия, но при этом позволит при необходимости углубиться в детали. В случае аномальных ситуаций вы сможете быстро отлавливать критические ситуации на верхних уровнях, а затем локализовывать их, спускаясь вниз по дереву.

Когортный анализ

Когортный анализ — это очень эффективных инструмент продуктовой и маркетинговой аналитики. Суть когортного анализа состоит в том, что мы выделяем группу пользователей по определенным признакам (часто по дате прихода в приложение) и следим за этой групой в течение времени.

Как вы уже могли заметить, когортный анализ является частным случаем сегментации. Подробно про когортный анализ я расскажу в следующих материалах.

Вместо заключения

В рамках данной статьи был рассмотрен инструмент сегментации — очень мощный инструмент мобильной и веб аналитики.

Я буду рад, если следующие тезисы окажутся тем, что вы почерпнули из этого материала:

  1. Расчет метрик для всего продукта целиком может вводить в заблуждение или делать метрики бессмысленными; 
  2. Для эффективной сегментации необходимо выделить значимые переменные, а на их основе уже формировать сегменты пользователей; 
  3. После того, как сегменты выделены, необходимо понять, по каким законам каждый из них устроен и как влияет на целое;
  4. Сегментация имеет широкий спектр применения - управления маркетинговыми активностями, построение мониторингов, исследование массивов данных, построение продуктовой аналитики.

Задача на понимание

Напоследок — интересная задачка. Если вы сможете объяснить парадокс, про который я дальше расскажу, то ваше понимание инструмента сегментации автоматически сделает LEVEL UP.

Одна из основных метрик для поисковиков — доля трафикогенерации, то есть доля переходов на внешние сайты из данного поисковика от всех переходов на внешние сайты из поисковиков.

Задача следующая. Возможно ли, что доля трафикогенерации определенного поисковика растет в каждом из браузеров, но при этом общая доля трафикогенерации падает? Если да, то как?

Олег Якубенков, Go Practice

Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Хорошая статья, сразу видно человек не дурак, а по задаче:
Да возможно, с учетом большего роста трафикогенирации в других поисковиках.

Автор как профессор)Читая эту статью, начинаешь считать себя тупоголовым =))

0

Да ну эту статью в покет

0

С первого захода не получилось ее осилить.

0

Как-то в первом кейсе посчитано не LTV/CAC, а LTV/CPC. CAC - как я поняла - это стоимость конверсии, и если считать её, то цифры будут совсем другие, не? Автор, разъясните плз

0

LTV считалось не для зарегистрировавшегося пользователя, а для приведенного на сайт, поэтому в данном конкретном случае CAC совпадает с CPC.

Если хочется, то можно LTV считать для зарегистрировавшегося пользователя, тогда CAC = CPC / conv

0

Общие затраты, отнесённые к кол-ву переходов, дают значение САС(стоимость перехода, но не регистрации). Так что в первом кейсе всё посчитано верно.

0

Поэтому меня и смутила терминология, потому как по этой логике CPC=CAC, а по смыслу это две разные метрики. Но если мы считаем LTV для общего количества переходов, то да, тут нужно использовать CPC. Хотя тогда лучше в формуле его и указать, чтобы было понятнее. Имхо

0

Отличная статья.

По задачке:

Предположим, у нас существую только 2 поисковика - Я и Г. Доли трафикогенерации Тя/(Тя+Тг) и Тг/(Тя+Тг).

Предположим, у нас только 2 браузера - 1 и 2. Тогда мы имеем Тя1 + Тг1 + Тя2 + Тг2 = 100% всего трафика.

Доли поисковика Я для первого браузера Тя1/(Тя1+Тг1)
и для второго браузера Тя2/(Тя2+Тг2) могут вырасти оба, но средняя доля Я в обоих браузерах:
(Тя1+Тя2)/(Тя1+Тг1+Тя2+Тг2) может снизиться, если знаменатель возрастет быстрее)))

Наконец в России появляется рынок аналитики.И 10 лет не прошло. :) Будем надеяться, что на этом он не остановится и будут появляться интересные задачи.

0

"...После того, как сегменты выделены, необходимо понять, по каким законам каждый из них устроен и как влияет на целое..."

Нет, нам нужно сначала понять законы, по которым сегментируются наши данные, и на их основании выделить сегменты.

В случае с Великанами и Гномами, нам нужно понять закон, который состоит в том, что на данном острове существуют 2 популяции андроидов, различающихся по росту. Т.е. мы должны понимать, что это великаны и гномы, а не взрослые и дети человека)))

0

"Нет, нам нужно сначала понять законы, по которым сегментируются наши данные, и на их основании выделить сегменты."

То, что вы называете законами в данном предложении, я называю факторами в статье. И их вы определяли до того, как выделяли сегменты.

0

Да, в статье смешано несколько принципиальных наблюдаемых понятий, которе нужно разграничть с самого начала:
- Пользователи (и их многочисленные характеристики)
- Активности (разные действия Пользователей с Продуктами)
- сами Продукты
- финансовые показатели (выручка, прибыль) - при этом они рассматриваются как по отношению к Пользователям, так и к Продуктам и даже к Активностям

Причем каждое из них может:
а) быть сегментировано - т.е. разделено по структуре
б) иметь динамику во времени

Аналитик, как правило, изучает пересечение а) и б) - т.е. изменение структуры во времени и ищет ответы на вопросы "каков механизм", "что повлияло", "что делать, чтобы оптимизировать динамику и структуру"?.

0

В статье обсуждается инструмент сегментации, который можно применить для всех описанных вами сущностей (пользователи, продукты, активности пользователей, финансовые показатели).

Принципиальной разницы в применении сегментации к этим сущностям нет, так что я назвал бы это не смешением понятий, а обобщением.

0

Согласен, сегментировать можно каждое из них. И, прежде чем сегментировать, возникает вопрос "что именно в моей ситуации важнее сегментировать в первую очередь"?
А чтобы понимать, что сегментировать, нужно увидеть список того, что обычно сегментируют)

0

Ответ на задачу: да может, если меняется популярность браузера. Например, снизилась популярность браузера, в котором поисковик имел большую долю. Или повысилась популярность браузера, в котором поисковик имел маленькую долю.

0

первый правильный ответ :)

0

Хорошая статья, первая часть статьи показалась слишком простой, но для первого выпуска, это, наверное, ок.. Жду продолжения. :-)

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
ave ego

Популярным станет когда за ту же цену количество доступного контента сравняется с американским. А то платите также, а смотреть можете в 10 раз меньше.

Роскомнадзор заявил об отсутствии претензий к Netflix из-за «непопулярности сервиса» в России
0
Борис Моренко

Название отличное. Лучше только stalin.tv)

Французский видеосервис Molotov привлёк $22 млн от Михаила Фридмана и других инвесторов
1
Yuriy Belonozhkin

В начале 2016 года мы шифровали как могли (Эзоповым языком и смайликами)

Акционеры Facebook раскритиковали инвестора Андриссена за помощь Цукербергу втайне от совета директоров
1
Yuriy Belonozhkin

Перед перезапуском Secret он решил поразмяться на блог-сервисе)

Сооснователь Secret запустил анонимную блог-платформу IO
0
Николай Анников

Основатель компании владеющей супер защищенным мессенджером не смог сохранить переписку в тайне?

Акционеры Facebook раскритиковали инвестора Андриссена за помощь Цукербергу втайне от совета директоров
0
Показать еще