Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Должен ли продакт-менеджер, если его разбудить посреди ночи, без запинки выдать определение p-value и ошибки первого рода? Должен ли он знать, чем unit-экономика Красинского отличается от экономики Ханина, что такое sticky factor, и зачем нужны АА-тесты?

Если должен, то с чего начать и как не потонуть в отчаянии, пытаясь вспомнить (или познать с нуля) университетский курс математической статистики?

Меня зовут Далия Мухамедзянова, я продакт-менеджер AliExpress Россия. В этой статье расскажу о ресурсах и знаниях для продактов, которые хотят говорить с аналитиками на одном языке.

Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Как связаны аналитика и продуктовый менеджмент

О вопрос «должен ли продакт-менеджер разбираться в технологиях, математике и уметь хотя бы в простейшие SQL-запросы?» сломал копья не один продакт-менеджер. Единого ответа на этот вопрос по-прежнему нет, и каждый из нас выбирает сам, чью сторону занять.

В ИТ я уже более семи лет, а в продуктовом менеджменте – около пяти. И уже давно для себя решила, что я на «стороне света» – точнее, мой диплом казанского ВМК и перфекционизм выбрали за меня.

Я считаю, что продакт-менеджер должен уметь и в аналитику, и в цифры, и в технологии, хотя бы на уровне очень хорошего понимания. Знать, что такое статистическая значимость и нормальное распределение, что разница в GMV в 2 млн может быть случайностью, чем медиана отличается от среднего, а корреляция – от причинно-следственной связи, а также уметь при необходимости написать SQL-запрос и вытащить данные из базы. А вот использовать Python для выгрузки данных и различать, когда надо применить Z-тест, а когда критерий Манна-Уитни – это уже следующий, пока недоступный мне уровень просветления.

Почему это важно? Во-первых, бывают ситуации, когда в команде нет своего выделенного аналитика, а есть только команда аналитиков, к которым нужно отстоять очередь для выполнения своей задачи. Или свой аналитик есть, но он очень загружен, а у нас, конечно, подгорают сроки (и не только они). И в этой ситуации может очень выручить умение самостоятельно писать запросы к базам данных и интерпретировать данные А/В-тестов. И пусть даже это будет сделано с помощью online-калькуляторов, которые могут посчитать p-value и доверительные интервалы.

Во-вторых, говорить с аналитиками на одном языке очень приятно и продуктивно (как и со всеми другими членами команды, на самом деле). Это снимает большую часть недопониманий и конфликтов, необоснованных ожиданий и ложных надежд.

Такой продакт умеет не только сформулировать гипотезу и написать user story/job to be done, но и адекватно оценить ожидаемое влияние на метрики. То есть если он построил дирижабль, а не космолет, он не будет пытаться оценить, за какой срок тот долетит до Луны.

Как продакту прокачать навыки продуктовой аналитики: 6 советов

Зачем нужно улучшать знания продуктовой аналитики понятно, но как это сделать? Ниже – шесть практических шагов, основанных на моем личном опыте, которые помогут серьезно продвинуться в этом направлении.

Совет #1: начните с основ

Первое, что стоит сделать тому, у кого в голове возникло сочетание слов «продакт» и «менеджмент» или «аналитика» – это пройти симулятор GoPractice Олега Якубенкова и почитать его блог. Там будет и про метрики, и про АВ-тесты, и даже немного про unit-экономику. Самое толковое и действенное о продуктовой аналитике, что я повстречала на просторах образовательных ресурсов. Это фундамент, на котором потом можно будет построить все, что угодно.

Например, из блога интересно узнать о так называемой «проблеме подглядывания». Ее суть в том, что если мы в процессе АВ-теста будем периодически «подсматривать», как там ведут себя наши метрики, а увидев внезапный рост какой-то из них, посчитаем эксперимент успешным и сразу радостно помчимся раскатывать эту фичу на всех пользователей, мы будем сильно неправы.

Замеченный нами рост по-прежнему может еще быть случайным. Это не значит, что «подглядывать» совсем нельзя. Можно, только нельзя принимать решения на основе первых же значимых различий между тестовой и контрольной группой.

Существуют некоторые математические и не математические решения «проблемы подглядывания» – например, построить график распределения доверительных интервалов или p-value для результатов группы А и группы В (мы использовали такие графики, хорошая вещь) и посмотреть на их поведение. Если разница, которую мы заметили, стабильна и постоянна, и графики p-value это подтверждают, тогда полученным данным можно поверить.

Вокруг этих методов идет много споров и нет единого мнения, но знать о возможности такой проблемы нужно обязательно, чтобы нашим данным можно было доверять.

Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Совет #2: собирайте источники знаний

Следующее – подписаться на Telegram-каналы. Начиная с No Flame No Game Ани Булдаковой, каналов Ильи Красинского и Вани Замесина, «Нормально делай, нормально будет», Close2Sence Елены Серегиной, заканчивая менее известными. От части из них потом можно благополучно отписаться, оставив ровно те, которые дают источники для саморазвития и размышлений.

Сама я, конечно, подписана на канал GoPractice (да, я их фанатка во всех возможных источниках). No Flame No Game тоже, по моему мнению, обязателен в подписках – но тут стоит заметить, что, во-первых, он больше про менеджмент, чем про аналитику, а во-вторых – нового контента там в последнее время не так много, но можно полистать блог и найти огромное количество полезной информации.

В Close2Sence есть глубокий аналитический контент – Елена Серегина активно популяризирует пирамиды и иерархии метрик, NSM («Метрику Всевластия»), пишет про ревью метрик, метрики будущего и другие очень интересные темы. Илья Красинский – он про unit-экономику продукта, и в этом он лучший (есть еще Ханин, но обычно продуктологам как-то ближе Красинский).

Каналы стоит выбирать в зависимости от текущих задач и тем, которые хочется прокачать в настоящее время. Я не успеваю мониторить все каналы каждый день, поэтому пока отключила уведомления почти везде, кроме GoPractice и No Flame No Game, а остальные блоги читаю скопом, когда появляется время.

Совет #3: быстрее переходите к практике

Одновременно с этим важно начать закапываться в аналитические задачки с головой. Есть запрос «на подумать» над метриками, дэшбордами и найти инсайты в данных? Дайте два. Надо понять, как объяснить бизнесу, что такое p-value, и куда делись те 2 млн из GMV в AB-тесте, и как так они не статистически значимы? Мм, I'm lovin' it!

Совет #4: максимально много общайтесь с аналитиками

Отсюда логично следует следующий пункт – нужно подружиться с аналитиками и задавать им свои вопросы. А почему так? Как выглядит график этого распределения? А того? Где на этих графиках p-value? Какой критерий мы тут применяем? А почему разница не статистически значима? А что это значит? А как мы это посчитали?

Вот про графики и критерии – честно скажу, что сама до сих пор до конца не преисполнилась.

По этому и предыдущему пунктам нужно плотно работать вместе с аналитиками (если только менеджер сам не гуру математической статистики, баз данных и Python). Но и тут, конечно, не все будет радужно. Иногда будет ощущение «очень интересно, но ничего не понятно». Иногда – что все уже понятно, а потом окажется, что на самом деле по-прежнему непонятно примерно ничего. Да и для того, чтобы менеджеру продукта погружаться глубоко в аналитические задачки, ему нужно иметь достаточно времени, которого обычно всегда дефицит.

Кроме того, будут ситуации, когда ни менеджер, ни аналитик не смогут до конца понять, что происходит с данными, и почему вы видите именно такие результаты эксперимента, а не те, которые ожидали. Или вдруг обнаружится, что ваша система сплитования дает статистически значимую разницу в АА-тесте, а вам нужно сегодня отчитываться о результатах свежего АВ-эксперимента. Или будете несколько недель биться над тем, чтобы объяснить бизнесу, куда все-таки делись те 2 млн GMV (больная тема) – вы уже сами поймете к тому моменту все про p-value, ошибки первого и второго рода, напишете пару раз простыню текста с объяснением, а потом вас снова спросят, как 2 млн разницы могут быть не статистически значимыми. Держитесь.

Совет #5: изучайте инструменты

Тут нужно исходить из уже имеющихся знаний. Если стартовать совсем с нуля, можно начать с написания простейших SQL запросов (главное не надо идти в «боевые» базы данных и писать туда запросы типа select * from, а то мало ли что). Если замахиваться на продвинутый уровень – тот же SQL, но для продолжающих, еще можно пройти какой-нибудь курс по Python, это уже совсем для сильных духом (я начала, но забросила).

Когда-то мое собственное погружение в аналитику началось с того, что мне пришлось научиться самой ходить в базу данных (то был ClickHouse), выгружать оттуда результаты экспериментов, строить графики и на коленке считать статистическую значимость (подсказка – это можно сделать с помощью расчета доверительных интервалов или использовать калькулятор). Мне очень помогли в этом неплохое знание SQL, воспоминания о математической статистике с пар в университете и симулятор GoPractice. Конечно, я не умела пользоваться статистическими критериями и другими инструментами продвинутой аналитики. Максимальный буст мои знания получили после того, как я перешла к пунктам 3 и 4 – вместе с аналитиками, а не сама по себе. Хотя уметь своими руками сходить в базу – это очень важный навык.

Совет #6: копайте глубже

Также для смелых, ловких и умелых – митапы от Experiment Fest. Они больше заточены под аналитиков, чем под продактов, но там бывает очень интересно. Хоть и сложно. А вот их курс про А/В-тесты уже совсем сложный для не-аналитиков, но он тоже очень хорош.

Например, именно от ребят из Experiment Fest я узнала про историю с «41 оттенком синего». Когда Марисса Майер (бывший CEO Yahoo!) работала в Google, она решила провести АВ-тест с цветами рекламных ссылок. Она задумала протестировать 41 оттенок синего, чтобы понять, какой из них повысит кликабельность этих ссылок.

Казалось бы, что такого, да? Обычный тест. Только оказалось, что если так поставить задачу, вероятность, что какой-то оттенок синего будет по результатам теста ошибочно принят за улучшающий кликабельность, равна 88% (да, обычно такая вероятность тоже есть, это называется «ошибка первого рода», и она равна 5%).

Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Статистика и котики

Пожалуй, самое страшное, что есть в продуктовой аналитике – это математическая статистика. Для тех, кто изучал ее в студенческие годы, но потом много лет не использовал, все слова кажутся знакомыми, но соединить их в единое полотно знаний уже тяжело. Для тех, чье первое знакомство со статистикой произошло намного позже, она кажется вообще какой-то черной магией.

Но продакт-менеджеру и не требуется осилить весь курс статистики с нуля. Достаточно знать базовые вещи. Один из самых популярных источников для этого - книга «Статистика и котики» Владимира Савельева. Там в доступной форме совсем небольшого издания рассказывается все, над чем мы в студенчестве страдали пару семестров. Очень советую к прочтению и перечитыванию.

В целом, чтобы начать говорить с аналитиками на одном языке, отлично ориентироваться в метриках и всех вариациях А/В-тестов, уметь обосновать ожидания от эксперимента, понимать значение статистической значимости и отличать медиану от среднего – этого вполне достаточно.

Дальше можно погружаться уже в более специфические глубины продуктовой аналитики: изучать unit-экономики разных видов, пирамиды и иерархии метрик, осваивать Python или научиться самостоятельно различать, для каких распределений какой критерий нужно использовать. Но это уже совсем другая история.

1919
19 комментариев

Вам бы забросить на пыльную старую полку все эти ваши p-value, доверительные и прочий мат.метод.мусор, да изучить плотнее Rapidminer, а то от теории и институтской парты так далеко не откатиться.

4
Ответить

Вопрос: Как продукт-менеджеру улучшить знания продуктовой аналитики?
Ответ: Стать дата-сатанистом.

Действительно, к чему эти полумеры из статьи 😅

1
Ответить

я думаю что если продакт делает это он уже аналитик и он как продакт компании не нужен. задача продакта сделать продукт приносящий деньги, сделал ок все, думай над новым продуктом или фичей.  дальше можно просто дашборд повесить из метрик и дрочить маркетинг-  ( когда пушить как пушить чем пушить и тп, то есть выжимать их юзера больше соков) то есть эта аналитика , она полезна когда юзер есть и мы пытаемся там немного улучшить через маркетинг , или ux какую то метрику , типа подольше на сайте , глубину просмотров и тп. но это работа уже больше маркетолога как по мне. продукт тут уже не причем , он остаётся прежним.
я не знаю не одной фичи которая бы была придумана из количественных исследований и что то там сильно подняла глобально в метриках. 
но знаю примеры когда люди смотрели на поведение юзеров и меняли маркет фит, и глобально по сути продукт. 
поэтому думаю что лучше башкой думать что куда и зачем, а не цифры перебирать бесконечно. тем более в большинстве продуктов нет достаточного дата сета. 

2
Ответить

Привет! Не со всем соглашусь. Соглашусь с тем, что если продакт все-все манипуляции с данными сам своими руками делает - то да, он уже становится аналитиком, и на продуктовые фичи времени ему не хватит. Но как минимум понимать, что происходит с данными, что делают и говорят аналитики - это важно. 

Есть разные типы метрик - маркетинговые, продуктовые итд. И, к примеру, продуктовые метрики как раз улучшаются преимущественно продакт-менеджерами, а не маркетологами. На вашем примере с "подольше на сайте" - это же можно решать не только путем маркетинга, но и продуктово, например, добавить функционал и "подсовывать" в нужный момент актуальные рекомендации, сопутствующие товары, похожие товары, да много чего еще, что требует не только маркетинговых активностей, но и продуктовых исследований и разработки. Маркетинг больше влияет на метрики роста, но метрики роста без качественного улучшения метрик продукта не дадут долгосрочного развития.

По поводу количественных исследований - конечно, если нет достаточного дата-сета, то на данные опереться действительно будет невозможно. Но как минимум в больших компаниях есть хороший дата-сет, и оттуда можно получить много инсайтов. Это data driven и data informed культура - опираться на данные и верить им больше, чем людям (конечно, для этого данные должны быть достоверными, да и качественные исследования тоже никто не отменяет, они очень важны).
Ну и даже если нет достаточного дата-сета, то в АВ-тестах и интерпретации их результатов уметь понимать скрытый за числами смысл, знать о статзначимости, уметь делать выводы - абсолютно необходимые навыки

1
Ответить

Крутая статья! Соглашусь, что знать про метрики надо. Продакт - это ведь не только про поиск сегментов и "думай над новым продуктом или фичей". Зачастую, если компания большая и есть разветвленная структура по вертикалям, то задача продакта  превращается больше в оптимизатора, чтобы смог вырастить нужные метрики. А без базовых пониманий a/b, интерпретации результатов и вот этого всего - это невозможно. 

1
Ответить

Спасибо) Да, все именно так

Ответить

очень интересно, но ничего мне не понятно 

Ответить