Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Должен ли продакт-менеджер, если его разбудить посреди ночи, без запинки выдать определение p-value и ошибки первого рода? Должен ли он знать, чем unit-экономика Красинского отличается от экономики Ханина, что такое sticky factor, и зачем нужны АА-тесты?

Если должен, то с чего начать и как не потонуть в отчаянии, пытаясь вспомнить (или познать с нуля) университетский курс математической статистики?

Меня зовут Далия Мухамедзянова, я продакт-менеджер AliExpress Россия. В этой статье расскажу о ресурсах и знаниях для продактов, которые хотят говорить с аналитиками на одном языке.

Как связаны аналитика и продуктовый менеджмент

О вопрос «должен ли продакт-менеджер разбираться в технологиях, математике и уметь хотя бы в простейшие SQL-запросы?» сломал копья не один продакт-менеджер. Единого ответа на этот вопрос по-прежнему нет, и каждый из нас выбирает сам, чью сторону занять.

В ИТ я уже более семи лет, а в продуктовом менеджменте – около пяти. И уже давно для себя решила, что я на «стороне света» – точнее, мой диплом казанского ВМК и перфекционизм выбрали за меня.

Я считаю, что продакт-менеджер должен уметь и в аналитику, и в цифры, и в технологии, хотя бы на уровне очень хорошего понимания. Знать, что такое статистическая значимость и нормальное распределение, что разница в GMV в 2 млн может быть случайностью, чем медиана отличается от среднего, а корреляция – от причинно-следственной связи, а также уметь при необходимости написать SQL-запрос и вытащить данные из базы. А вот использовать Python для выгрузки данных и различать, когда надо применить Z-тест, а когда критерий Манна-Уитни – это уже следующий, пока недоступный мне уровень просветления.

Почему это важно? Во-первых, бывают ситуации, когда в команде нет своего выделенного аналитика, а есть только команда аналитиков, к которым нужно отстоять очередь для выполнения своей задачи. Или свой аналитик есть, но он очень загружен, а у нас, конечно, подгорают сроки (и не только они). И в этой ситуации может очень выручить умение самостоятельно писать запросы к базам данных и интерпретировать данные А/В-тестов. И пусть даже это будет сделано с помощью online-калькуляторов, которые могут посчитать p-value и доверительные интервалы.

Во-вторых, говорить с аналитиками на одном языке очень приятно и продуктивно (как и со всеми другими членами команды, на самом деле). Это снимает большую часть недопониманий и конфликтов, необоснованных ожиданий и ложных надежд.

Такой продакт умеет не только сформулировать гипотезу и написать user story/job to be done, но и адекватно оценить ожидаемое влияние на метрики. То есть если он построил дирижабль, а не космолет, он не будет пытаться оценить, за какой срок тот долетит до Луны.

Как продакту прокачать навыки продуктовой аналитики: 6 советов

Зачем нужно улучшать знания продуктовой аналитики понятно, но как это сделать? Ниже – шесть практических шагов, основанных на моем личном опыте, которые помогут серьезно продвинуться в этом направлении.

Совет #1: начните с основ

Первое, что стоит сделать тому, у кого в голове возникло сочетание слов «продакт» и «менеджмент» или «аналитика» – это пройти симулятор GoPractice Олега Якубенкова и почитать его блог. Там будет и про метрики, и про АВ-тесты, и даже немного про unit-экономику. Самое толковое и действенное о продуктовой аналитике, что я повстречала на просторах образовательных ресурсов. Это фундамент, на котором потом можно будет построить все, что угодно.

Например, из блога интересно узнать о так называемой «проблеме подглядывания». Ее суть в том, что если мы в процессе АВ-теста будем периодически «подсматривать», как там ведут себя наши метрики, а увидев внезапный рост какой-то из них, посчитаем эксперимент успешным и сразу радостно помчимся раскатывать эту фичу на всех пользователей, мы будем сильно неправы.

Замеченный нами рост по-прежнему может еще быть случайным. Это не значит, что «подглядывать» совсем нельзя. Можно, только нельзя принимать решения на основе первых же значимых различий между тестовой и контрольной группой.

Существуют некоторые математические и не математические решения «проблемы подглядывания» – например, построить график распределения доверительных интервалов или p-value для результатов группы А и группы В (мы использовали такие графики, хорошая вещь) и посмотреть на их поведение. Если разница, которую мы заметили, стабильна и постоянна, и графики p-value это подтверждают, тогда полученным данным можно поверить.

Вокруг этих методов идет много споров и нет единого мнения, но знать о возможности такой проблемы нужно обязательно, чтобы нашим данным можно было доверять.

Совет #2: собирайте источники знаний

Следующее – подписаться на Telegram-каналы. Начиная с No Flame No Game Ани Булдаковой, каналов Ильи Красинского и Вани Замесина, «Нормально делай, нормально будет», Close2Sence Елены Серегиной, заканчивая менее известными. От части из них потом можно благополучно отписаться, оставив ровно те, которые дают источники для саморазвития и размышлений.

Сама я, конечно, подписана на канал GoPractice (да, я их фанатка во всех возможных источниках). No Flame No Game тоже, по моему мнению, обязателен в подписках – но тут стоит заметить, что, во-первых, он больше про менеджмент, чем про аналитику, а во-вторых – нового контента там в последнее время не так много, но можно полистать блог и найти огромное количество полезной информации.

В Close2Sence есть глубокий аналитический контент – Елена Серегина активно популяризирует пирамиды и иерархии метрик, NSM («Метрику Всевластия»), пишет про ревью метрик, метрики будущего и другие очень интересные темы. Илья Красинский – он про unit-экономику продукта, и в этом он лучший (есть еще Ханин, но обычно продуктологам как-то ближе Красинский).

Каналы стоит выбирать в зависимости от текущих задач и тем, которые хочется прокачать в настоящее время. Я не успеваю мониторить все каналы каждый день, поэтому пока отключила уведомления почти везде, кроме GoPractice и No Flame No Game, а остальные блоги читаю скопом, когда появляется время.

Совет #3: быстрее переходите к практике

Одновременно с этим важно начать закапываться в аналитические задачки с головой. Есть запрос «на подумать» над метриками, дэшбордами и найти инсайты в данных? Дайте два. Надо понять, как объяснить бизнесу, что такое p-value, и куда делись те 2 млн из GMV в AB-тесте, и как так они не статистически значимы? Мм, I'm lovin' it!

Совет #4: максимально много общайтесь с аналитиками

Отсюда логично следует следующий пункт – нужно подружиться с аналитиками и задавать им свои вопросы. А почему так? Как выглядит график этого распределения? А того? Где на этих графиках p-value? Какой критерий мы тут применяем? А почему разница не статистически значима? А что это значит? А как мы это посчитали?

Вот про графики и критерии – честно скажу, что сама до сих пор до конца не преисполнилась.

По этому и предыдущему пунктам нужно плотно работать вместе с аналитиками (если только менеджер сам не гуру математической статистики, баз данных и Python). Но и тут, конечно, не все будет радужно. Иногда будет ощущение «очень интересно, но ничего не понятно». Иногда – что все уже понятно, а потом окажется, что на самом деле по-прежнему непонятно примерно ничего. Да и для того, чтобы менеджеру продукта погружаться глубоко в аналитические задачки, ему нужно иметь достаточно времени, которого обычно всегда дефицит.

Кроме того, будут ситуации, когда ни менеджер, ни аналитик не смогут до конца понять, что происходит с данными, и почему вы видите именно такие результаты эксперимента, а не те, которые ожидали. Или вдруг обнаружится, что ваша система сплитования дает статистически значимую разницу в АА-тесте, а вам нужно сегодня отчитываться о результатах свежего АВ-эксперимента. Или будете несколько недель биться над тем, чтобы объяснить бизнесу, куда все-таки делись те 2 млн GMV (больная тема) – вы уже сами поймете к тому моменту все про p-value, ошибки первого и второго рода, напишете пару раз простыню текста с объяснением, а потом вас снова спросят, как 2 млн разницы могут быть не статистически значимыми. Держитесь.

Совет #5: изучайте инструменты

Тут нужно исходить из уже имеющихся знаний. Если стартовать совсем с нуля, можно начать с написания простейших SQL запросов (главное не надо идти в «боевые» базы данных и писать туда запросы типа select * from, а то мало ли что). Если замахиваться на продвинутый уровень – тот же SQL, но для продолжающих, еще можно пройти какой-нибудь курс по Python, это уже совсем для сильных духом (я начала, но забросила).

Когда-то мое собственное погружение в аналитику началось с того, что мне пришлось научиться самой ходить в базу данных (то был ClickHouse), выгружать оттуда результаты экспериментов, строить графики и на коленке считать статистическую значимость (подсказка – это можно сделать с помощью расчета доверительных интервалов или использовать калькулятор). Мне очень помогли в этом неплохое знание SQL, воспоминания о математической статистике с пар в университете и симулятор GoPractice. Конечно, я не умела пользоваться статистическими критериями и другими инструментами продвинутой аналитики. Максимальный буст мои знания получили после того, как я перешла к пунктам 3 и 4 – вместе с аналитиками, а не сама по себе. Хотя уметь своими руками сходить в базу – это очень важный навык.

Совет #6: копайте глубже

Также для смелых, ловких и умелых – митапы от Experiment Fest. Они больше заточены под аналитиков, чем под продактов, но там бывает очень интересно. Хоть и сложно. А вот их курс про А/В-тесты уже совсем сложный для не-аналитиков, но он тоже очень хорош.

Например, именно от ребят из Experiment Fest я узнала про историю с «41 оттенком синего». Когда Марисса Майер (бывший CEO Yahoo!) работала в Google, она решила провести АВ-тест с цветами рекламных ссылок. Она задумала протестировать 41 оттенок синего, чтобы понять, какой из них повысит кликабельность этих ссылок.

Казалось бы, что такого, да? Обычный тест. Только оказалось, что если так поставить задачу, вероятность, что какой-то оттенок синего будет по результатам теста ошибочно принят за улучшающий кликабельность, равна 88% (да, обычно такая вероятность тоже есть, это называется «ошибка первого рода», и она равна 5%).

Статистика и котики

Пожалуй, самое страшное, что есть в продуктовой аналитике – это математическая статистика. Для тех, кто изучал ее в студенческие годы, но потом много лет не использовал, все слова кажутся знакомыми, но соединить их в единое полотно знаний уже тяжело. Для тех, чье первое знакомство со статистикой произошло намного позже, она кажется вообще какой-то черной магией.

Но продакт-менеджеру и не требуется осилить весь курс статистики с нуля. Достаточно знать базовые вещи. Один из самых популярных источников для этого - книга «Статистика и котики» Владимира Савельева. Там в доступной форме совсем небольшого издания рассказывается все, над чем мы в студенчестве страдали пару семестров. Очень советую к прочтению и перечитыванию.

В целом, чтобы начать говорить с аналитиками на одном языке, отлично ориентироваться в метриках и всех вариациях А/В-тестов, уметь обосновать ожидания от эксперимента, понимать значение статистической значимости и отличать медиану от среднего – этого вполне достаточно.

Дальше можно погружаться уже в более специфические глубины продуктовой аналитики: изучать unit-экономики разных видов, пирамиды и иерархии метрик, осваивать Python или научиться самостоятельно различать, для каких распределений какой критерий нужно использовать. Но это уже совсем другая история.

0
19 комментариев
Написать комментарий...
Иван Колыхалов

Вам бы забросить на пыльную старую полку все эти ваши p-value, доверительные и прочий мат.метод.мусор, да изучить плотнее Rapidminer, а то от теории и институтской парты так далеко не откатиться.

Ответить
Развернуть ветку
Янис Зятьков

Вопрос: Как продукт-менеджеру улучшить знания продуктовой аналитики?
Ответ: Стать дата-сатанистом.

Действительно, к чему эти полумеры из статьи 😅

Ответить
Развернуть ветку
Иван Колыхалов

Полумеры? Ко-ко-ко. Это у меня полумера, а у автора через огонь и самую жесть для ботанья-задротского. Я хоть человечий инструмент дал, а она предлагает чуть ли ни сразу в Python лезть и не выпускать из рук учебник по мат.стату даже ночью.

Ответить
Развернуть ветку
Янис Зятьков

Нет в статье такого, там базовые запросы SQL, да отличие медианы от среднего из обязательного, остальное - по опционально.
Хотя ваш совет тоже может быть ничего, я просто вас не так понял.

Ответить
Развернуть ветку
Далия Мухамедзянова

Да, все верно, именно это я и имею ввиду) Залезать в Python и спать с учебником матстата - это слишком жестко, да и нет в этом необходимости. Конечно, если знания Python уже есть или их просто интересно получить для саморазвития - это круто, но специально туда погружаться не обязательно

Ответить
Развернуть ветку
Elizaveta Terentieva

я думаю что если продакт делает это он уже аналитик и он как продакт компании не нужен. задача продакта сделать продукт приносящий деньги, сделал ок все, думай над новым продуктом или фичей.  дальше можно просто дашборд повесить из метрик и дрочить маркетинг-  ( когда пушить как пушить чем пушить и тп, то есть выжимать их юзера больше соков) то есть эта аналитика , она полезна когда юзер есть и мы пытаемся там немного улучшить через маркетинг , или ux какую то метрику , типа подольше на сайте , глубину просмотров и тп. но это работа уже больше маркетолога как по мне. продукт тут уже не причем , он остаётся прежним.
я не знаю не одной фичи которая бы была придумана из количественных исследований и что то там сильно подняла глобально в метриках. 
но знаю примеры когда люди смотрели на поведение юзеров и меняли маркет фит, и глобально по сути продукт. 
поэтому думаю что лучше башкой думать что куда и зачем, а не цифры перебирать бесконечно. тем более в большинстве продуктов нет достаточного дата сета. 

Ответить
Развернуть ветку
Далия Мухамедзянова

Привет! Не со всем соглашусь. Соглашусь с тем, что если продакт все-все манипуляции с данными сам своими руками делает - то да, он уже становится аналитиком, и на продуктовые фичи времени ему не хватит. Но как минимум понимать, что происходит с данными, что делают и говорят аналитики - это важно. 

Есть разные типы метрик - маркетинговые, продуктовые итд. И, к примеру, продуктовые метрики как раз улучшаются преимущественно продакт-менеджерами, а не маркетологами. На вашем примере с "подольше на сайте" - это же можно решать не только путем маркетинга, но и продуктово, например, добавить функционал и "подсовывать" в нужный момент актуальные рекомендации, сопутствующие товары, похожие товары, да много чего еще, что требует не только маркетинговых активностей, но и продуктовых исследований и разработки. Маркетинг больше влияет на метрики роста, но метрики роста без качественного улучшения метрик продукта не дадут долгосрочного развития.

По поводу количественных исследований - конечно, если нет достаточного дата-сета, то на данные опереться действительно будет невозможно. Но как минимум в больших компаниях есть хороший дата-сет, и оттуда можно получить много инсайтов. Это data driven и data informed культура - опираться на данные и верить им больше, чем людям (конечно, для этого данные должны быть достоверными, да и качественные исследования тоже никто не отменяет, они очень важны).
Ну и даже если нет достаточного дата-сета, то в АВ-тестах и интерпретации их результатов уметь понимать скрытый за числами смысл, знать о статзначимости, уметь делать выводы - абсолютно необходимые навыки

Ответить
Развернуть ветку
Elizaveta Terentieva

Далия спасиба за теорию
На мой взгляд то что вы говорите какой товар когда подсовывать как подсовывать и тп, это работа маркетолога . так же как и корреляции на уровне с кремом берут шампунь. это ЧИСТЫЙ МАРКЕТИНГ. причем тут продакт? 
Касательно даты, можете привести пример как из дата сета появилась фича в функционале клиента? ну типа вот увидели вы что у вам часто заходят в 14 часов дня девушки 25-45 мск..которые до этого там брали незнаю -прокладки и дезодорант, что на основании этих данных вы можете сделать? только предложить им маркетинговую активность ( пушить их до или после , предлагать там продукт близкий по ца и аб тестить что лучше идёт, мужикам там их чтото предложить или детям) , но это маркетинговые исследования по сути в сша на эту тему тучи книг. тут нет продукта для клиента в смысле функционала нового , который бы принес прибыль.

Ответить
Развернуть ветку
Далия Мухамедзянова

В первом кейсе с рекомендациями и похожими товарами продакт как минимум при том, что если этого функционала нет, то маркетолог без продакта его, скорее всего, не сделает. Ни рекомендации, ни сопутку, ни похожие товары. Ну вот нет полки с рекомендуемым товарами нигде, код под это не написан, откуда маркетинг ее возьмёт? Гипотезу тут выдвигает продакт (но может и вместе с маркетологом, да), задачу в разработку ставит продакт, оценивает результаты и анализирует АВ тест - тоже продакт. Кроме того, продакт - «адвокат» пользователя, его цель в том числе  - чтобы пользователю было удобно, а не только чтобы денег заработать, у маркетинга же удобство пользователя не является целью как таковой.

Более того, это не просто маркетинговые штуки в принципе - в основе рекомендаций лежит сложная система алгоритмов и математики, как и в основе подбора похожих товаров и сопутки - это анализ больших данных и прогнозирование, работа математиков, продуктологов и разработки. Я работала с этим функционалом, так что это не теория, а чистая практика:)

Про второй кейс - про выводы на основе данных, из которых появляется какой-то  функционал. Когда-то до маркетплейсов я работала продактом в небольшом приложении, которое монетизировалось на основе показа рекламы внутри этого приложения. Реклама показывалась пользователю каждый раз после того, как он совершит какое-то определённое количество действий. То есть больше всего рекламы видели самые лояльные пользователи, а наименее лояльные могли ее вообще не посмотреть. Как итог - пользователи злились на нас за количество рекламы, при этом зарабатывали на рекламе мы не так много. Проанализировав данные, мы поняли, что среднее время сессии в приложении - X минут, ну допустим 4 минуты. И стали показывать пользователям рекламу на 3 минуте только при первой за день сессии. Как итог - мы охватили в 2 раза больше людей рекламой, то есть стали зарабатывать на ней в 2 раза больше, а вот негатив в обратной связи от пользователей резко упал. И сделать мы это смогли только благодаря тому, что проанализировали данные

Ответить
Развернуть ветку
Elizaveta Terentieva

1) а что маркетолог не может напрямю сказать прогерамм мол нужен рекомендатор? и оценить удобство по конверсии а/в теста?
?нет никакой сложно математики в рекомендациях и нейросетей, то есть конечно можно и их использовать чтобы посчитать 2+2 , 
 подсовывают на основе прошлого датасета что брала похожая категория+ остатки распродать. я к тому что там все линейно нет там сложных категорий скрытых мол с таким то набором из 5 позиций разных с вероятностью 60% возьмут 7ую такую то 
2) ну изначально была странная гипотеза как вы к ней пришгли? ее и учитывать сложнее действия считать. нежели просто таймер. и логика ее непонятна реклама на меньшее кол-во пользователей в чем смысл))) вот я и говорю что тут не нужны данные, и так понятно сессия 4 мин, ну давайте на первой или второй покажем, когда человек погрузился, но еще не все посмотрел и есть интерес , для этого какая то аналитика не нужна тут 1 минута заглянуть в глубину просмотра и принять решение.
3) вы мне так и не сказали что прикрутили какую то фичу на основе количественного иследования

Ответить
Развернуть ветку
Радик Вялиуллин

Крутая статья! Соглашусь, что знать про метрики надо. Продакт - это ведь не только про поиск сегментов и "думай над новым продуктом или фичей". Зачастую, если компания большая и есть разветвленная структура по вертикалям, то задача продакта  превращается больше в оптимизатора, чтобы смог вырастить нужные метрики. А без базовых пониманий a/b, интерпретации результатов и вот этого всего - это невозможно. 

Ответить
Развернуть ветку
Далия Мухамедзянова

Спасибо) Да, все именно так

Ответить
Развернуть ветку
Начинатель

очень интересно, но ничего мне не понятно 

Ответить
Развернуть ветку
Евгений Калашников

А у вас кто матстат вел? (тоже с ВМК казанского)

Ответить
Развернуть ветку
Далия Мухамедзянова

Тревер - Миссаров и Лернер, а матстат - Джунгурова и Кашина. А у вас?) 

Ответить
Развернуть ветку
Евгений Калашников

Миссаров и Кашина и то и другое)) Миссаров все так же иронизирует в сторону женского пола?))

Ответить
Развернуть ветку
Далия Мухамедзянова

Ну это было более семи лет назад, так что как сейчас не знаю)) Но тогда да, все было именно так) А еще он был нашим завкафедрой, да

Ответить
Развернуть ветку
Евгений Калашников

Я то ещё раньше учился, подумал может Вы так поразили его своими знаниями, что он пришел к идее о равноправии полов)))

Ответить
Развернуть ветку
Далия Мухамедзянова

Спасибо за комплимент)) Но нет, увы, ни мой средний балл 5.0 за все 5 лет обучения на ВМК, ни другие мои достижения и достижения сокурсниц, кажется, его не смогли впечатлить

Ответить
Развернуть ветку
16 комментариев
Раскрывать всегда