Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов

Должен ли продакт-менеджер, если его разбудить посреди ночи, без запинки выдать определение p-value и ошибки первого рода? Должен ли он знать, чем unit-экономика Красинского отличается от экономики Ханина, что такое sticky factor, и зачем нужны АА-тесты?

Если должен, то с чего начать и как не потонуть в отчаянии, пытаясь вспомнить (или познать с нуля) университетский курс математической статистики?

Меня зовут Далия Мухамедзянова, я продакт-менеджер AliExpress Россия. В этой статье расскажу о ресурсах и знаниях для продактов, которые хотят говорить с аналитиками на одном языке.

О вопрос «должен ли продакт-менеджер разбираться в технологиях, математике и уметь хотя бы в простейшие SQL-запросы?» сломал копья не один продакт-менеджер. Единого ответа на этот вопрос по-прежнему нет, и каждый из нас выбирает сам, чью сторону занять.

В ИТ я уже более семи лет, а в продуктовом менеджменте – около пяти. И уже давно для себя решила, что я на «стороне света» – точнее, мой диплом казанского ВМК и перфекционизм выбрали за меня.

Я считаю, что продакт-менеджер должен уметь и в аналитику, и в цифры, и в технологии, хотя бы на уровне очень хорошего понимания. Знать, что такое статистическая значимость и нормальное распределение, что разница в GMV в 2 млн может быть случайностью, чем медиана отличается от среднего, а корреляция – от причинно-следственной связи, а также уметь при необходимости написать SQL-запрос и вытащить данные из базы. А вот использовать Python для выгрузки данных и различать, когда надо применить Z-тест, а когда критерий Манна-Уитни – это уже следующий, пока недоступный мне уровень просветления.

Почему это важно? Во-первых, бывают ситуации, когда в команде нет своего выделенного аналитика, а есть только команда аналитиков, к которым нужно отстоять очередь для выполнения своей задачи. Или свой аналитик есть, но он очень загружен, а у нас, конечно, подгорают сроки (и не только они). И в этой ситуации может очень выручить умение самостоятельно писать запросы к базам данных и интерпретировать данные А/В-тестов. И пусть даже это будет сделано с помощью online-калькуляторов, которые могут посчитать p-value и доверительные интервалы.

Во-вторых, говорить с аналитиками на одном языке очень приятно и продуктивно (как и со всеми другими членами команды, на самом деле). Это снимает большую часть недопониманий и конфликтов, необоснованных ожиданий и ложных надежд.

Такой продакт умеет не только сформулировать гипотезу и написать user story/job to be done, но и адекватно оценить ожидаемое влияние на метрики. То есть если он построил дирижабль, а не космолет, он не будет пытаться оценить, за какой срок тот долетит до Луны.

Зачем нужно улучшать знания продуктовой аналитики понятно, но как это сделать? Ниже – шесть практических шагов, основанных на моем личном опыте, которые помогут серьезно продвинуться в этом направлении.

Первое, что стоит сделать тому, у кого в голове возникло сочетание слов «продакт» и «менеджмент» или «аналитика» – это пройти симулятор GoPractice Олега Якубенкова и почитать его блог. Там будет и про метрики, и про АВ-тесты, и даже немного про unit-экономику. Самое толковое и действенное о продуктовой аналитике, что я повстречала на просторах образовательных ресурсов. Это фундамент, на котором потом можно будет построить все, что угодно.

Например, из блога интересно узнать о так называемой «проблеме подглядывания». Ее суть в том, что если мы в процессе АВ-теста будем периодически «подсматривать», как там ведут себя наши метрики, а увидев внезапный рост какой-то из них, посчитаем эксперимент успешным и сразу радостно помчимся раскатывать эту фичу на всех пользователей, мы будем сильно неправы.

Замеченный нами рост по-прежнему может еще быть случайным. Это не значит, что «подглядывать» совсем нельзя. Можно, только нельзя принимать решения на основе первых же значимых различий между тестовой и контрольной группой.

Существуют некоторые математические и не математические решения «проблемы подглядывания» – например, построить график распределения доверительных интервалов или p-value для результатов группы А и группы В (мы использовали такие графики, хорошая вещь) и посмотреть на их поведение. Если разница, которую мы заметили, стабильна и постоянна, и графики p-value это подтверждают, тогда полученным данным можно поверить.

Вокруг этих методов идет много споров и нет единого мнения, но знать о возможности такой проблемы нужно обязательно, чтобы нашим данным можно было доверять.

Следующее – подписаться на Telegram-каналы. Начиная с No Flame No Game Ани Булдаковой, каналов Ильи Красинского и Вани Замесина, «Нормально делай, нормально будет», Close2Sence Елены Серегиной, заканчивая менее известными. От части из них потом можно благополучно отписаться, оставив ровно те, которые дают источники для саморазвития и размышлений.

Сама я, конечно, подписана на канал GoPractice (да, я их фанатка во всех возможных источниках). No Flame No Game тоже, по моему мнению, обязателен в подписках – но тут стоит заметить, что, во-первых, он больше про менеджмент, чем про аналитику, а во-вторых – нового контента там в последнее время не так много, но можно полистать блог и найти огромное количество полезной информации.

В Close2Sence есть глубокий аналитический контент – Елена Серегина активно популяризирует пирамиды и иерархии метрик, NSM («Метрику Всевластия»), пишет про ревью метрик, метрики будущего и другие очень интересные темы. Илья Красинский – он про unit-экономику продукта, и в этом он лучший (есть еще Ханин, но обычно продуктологам как-то ближе Красинский).

Каналы стоит выбирать в зависимости от текущих задач и тем, которые хочется прокачать в настоящее время. Я не успеваю мониторить все каналы каждый день, поэтому пока отключила уведомления почти везде, кроме GoPractice и No Flame No Game, а остальные блоги читаю скопом, когда появляется время.

Одновременно с этим важно начать закапываться в аналитические задачки с головой. Есть запрос «на подумать» над метриками, дэшбордами и найти инсайты в данных? Дайте два. Надо понять, как объяснить бизнесу, что такое p-value, и куда делись те 2 млн из GMV в AB-тесте, и как так они не статистически значимы? Мм, I'm lovin' it!

Отсюда логично следует следующий пункт – нужно подружиться с аналитиками и задавать им свои вопросы. А почему так? Как выглядит график этого распределения? А того? Где на этих графиках p-value? Какой критерий мы тут применяем? А почему разница не статистически значима? А что это значит? А как мы это посчитали?

Вот про графики и критерии – честно скажу, что сама до сих пор до конца не преисполнилась.

По этому и предыдущему пунктам нужно плотно работать вместе с аналитиками (если только менеджер сам не гуру математической статистики, баз данных и Python). Но и тут, конечно, не все будет радужно. Иногда будет ощущение «очень интересно, но ничего не понятно». Иногда – что все уже понятно, а потом окажется, что на самом деле по-прежнему непонятно примерно ничего. Да и для того, чтобы менеджеру продукта погружаться глубоко в аналитические задачки, ему нужно иметь достаточно времени, которого обычно всегда дефицит.

Кроме того, будут ситуации, когда ни менеджер, ни аналитик не смогут до конца понять, что происходит с данными, и почему вы видите именно такие результаты эксперимента, а не те, которые ожидали. Или вдруг обнаружится, что ваша система сплитования дает статистически значимую разницу в АА-тесте, а вам нужно сегодня отчитываться о результатах свежего АВ-эксперимента. Или будете несколько недель биться над тем, чтобы объяснить бизнесу, куда все-таки делись те 2 млн GMV (больная тема) – вы уже сами поймете к тому моменту все про p-value, ошибки первого и второго рода, напишете пару раз простыню текста с объяснением, а потом вас снова спросят, как 2 млн разницы могут быть не статистически значимыми. Держитесь.

Тут нужно исходить из уже имеющихся знаний. Если стартовать совсем с нуля, можно начать с написания простейших SQL запросов (главное не надо идти в «боевые» базы данных и писать туда запросы типа select * from, а то мало ли что). Если замахиваться на продвинутый уровень – тот же SQL, но для продолжающих, еще можно пройти какой-нибудь курс по Python, это уже совсем для сильных духом (я начала, но забросила).

Когда-то мое собственное погружение в аналитику началось с того, что мне пришлось научиться самой ходить в базу данных (то был ClickHouse), выгружать оттуда результаты экспериментов, строить графики и на коленке считать статистическую значимость (подсказка – это можно сделать с помощью расчета доверительных интервалов или использовать калькулятор). Мне очень помогли в этом неплохое знание SQL, воспоминания о математической статистике с пар в университете и симулятор GoPractice. Конечно, я не умела пользоваться статистическими критериями и другими инструментами продвинутой аналитики. Максимальный буст мои знания получили после того, как я перешла к пунктам 3 и 4 – вместе с аналитиками, а не сама по себе. Хотя уметь своими руками сходить в базу – это очень важный навык.

Также для смелых, ловких и умелых – митапы от Experiment Fest. Они больше заточены под аналитиков, чем под продактов, но там бывает очень интересно. Хоть и сложно. А вот их курс про А/В-тесты уже совсем сложный для не-аналитиков, но он тоже очень хорош.

Например, именно от ребят из Experiment Fest я узнала про историю с «41 оттенком синего». Когда Марисса Майер (бывший CEO Yahoo!) работала в Google, она решила провести АВ-тест с цветами рекламных ссылок. Она задумала протестировать 41 оттенок синего, чтобы понять, какой из них повысит кликабельность этих ссылок.

Казалось бы, что такого, да? Обычный тест. Только оказалось, что если так поставить задачу, вероятность, что какой-то оттенок синего будет по результатам теста ошибочно принят за улучшающий кликабельность, равна 88% (да, обычно такая вероятность тоже есть, это называется «ошибка первого рода», и она равна 5%).

Пожалуй, самое страшное, что есть в продуктовой аналитике – это математическая статистика. Для тех, кто изучал ее в студенческие годы, но потом много лет не использовал, все слова кажутся знакомыми, но соединить их в единое полотно знаний уже тяжело. Для тех, чье первое знакомство со статистикой произошло намного позже, она кажется вообще какой-то черной магией.

Но продакт-менеджеру и не требуется осилить весь курс статистики с нуля. Достаточно знать базовые вещи. Один из самых популярных источников для этого - книга «Статистика и котики» Владимира Савельева. Там в доступной форме совсем небольшого издания рассказывается все, над чем мы в студенчестве страдали пару семестров. Очень советую к прочтению и перечитыванию.

В целом, чтобы начать говорить с аналитиками на одном языке, отлично ориентироваться в метриках и всех вариациях А/В-тестов, уметь обосновать ожидания от эксперимента, понимать значение статистической значимости и отличать медиану от среднего – этого вполне достаточно.

Дальше можно погружаться уже в более специфические глубины продуктовой аналитики: изучать unit-экономики разных видов, пирамиды и иерархии метрик, осваивать Python или научиться самостоятельно различать, для каких распределений какой критерий нужно использовать. Но это уже совсем другая история.