За информацию и поддержу благодарим Дмитрия Школьникова — главу разработки продукта в международной компании Airpush и преподавателя курса «Продуктовый лидер», а также представителей OZON.travel, VK Messenger и КРОК.
Про метрики
Отдельных продуктовых метрик и фреймворков много. Перед продакт-менеджером стоят вопросы: что считать и анализировать, чтобы сделать качественные выводы для развития продукта. На чём сосредоточиться, что добавить, убрать или изменить.
Если нет определённости, то на рабочих встречах члены продуктовой команды рассказывают, как много сделали, но никто не может ответить на вопрос: «Как это повлияло на общий результат?».
Метрики — система координат, которая вносит ясность. Они помогают понять куда движется команда и когда она туда доберется. Критерий эффективного продакт-менеджмента — умение определять ключевые метрики и улучшать их.
Однако не все цифры одинаково полезны.
Если метрики счастья помогают держать фокус на цели и понимать, насколько команда её реализует, то метрики тщеславия выглядят красиво, заставляют чувствовать себя хорошо, но не несут практической пользы для бизнеса.
Тщеславие Evernote. Как сервис превратился в «умирающего единорога»
На каждой стадии развития метрики счастья продукта будут разными, потому что перед проектом стоят разные задачи. Если на первых этапах успех определяет прирост пользователей, вовлеченность и возвращаемость клиентов, то на более поздних — количество клиентов, выручка, валовая прибыль и доля рынка.
Например, на стадии роста актуально держать фокус на качестве. Чем больше масштаб, тем выше риск, что оно пострадает. Высокий коэффициент удержания (Customer Retention Rate — СRR) и рекомендации (NPS) скажут о том, что продукт здоров, а пользователи довольны. Это важно, потому что люди, которые не голосуют вниманием, не проголосуют деньгами.
«Умирающий единорог»
Сервис для хранения заметок Evernote за время развития привлек $290 млн инвестиций и 25 млн пользователей. Но сегодня электронный органайзер медленно умирает, пишет Business Insider.
Компания держала фокус на новых продуктах (Evernote Food, Web Clipper) и новых рынках, углубилась в развитие ненужных никому функций, пока недовольство пользователей росло.
«Приложение даже с одной единственной задачей не справляется на отлично, и вместо этого пытается восполнить недостаток, делая несколько других вещей очень плохо».
Цели и метрики, которыми увлеклись Evernote, увели их от основной функции продукта — нести ценность.
Компания не наладила работу сервиса для текущих клиентов. Увлеклась экспансией. Не следила за трендами цифрового рынка и сильно отклонилась от миссии.
В Evernote сосредоточились на неэффективных метриках: адаптации новых продуктов и приросте пользователей, когда их метриками счастья были: коэффициент удовлетворенности (CSI) и индекс лояльности (NPS).
Метрики счастья помогают ответить на вопрос: «Мы достигаем целей, которые стоят перед нами на данном этапе?»
Метрики тщеславия — нет.
Сначала цели, потом метрики
Перед тем как определить метрики, нужно сформулировать цель.
После — выдвинуть гипотезу: что изменить, добавить или убрать в продукте, чтобы её достичь. Затем определить сигнал — что изменится в поведении пользователей и укажет на то, что цель реализуется. И только потом — подобрать метрики.
Цель → Действие → Сигнал → Метрика
Цель маркетплейса N — увеличить количество пользователей платной версии продукта. Пакет PRO предлагает продвижение товаров внутри платформы и в поисковых системах.
Гипотеза: люди не понимают преимущества пакета. Пользователь не уверен, что 30 000 рублей, которые он будет вкладывать в рекламу каждый месяц, окупятся. Есть триал-версия пакета PRO на 14 дней. Но в панели клиента всё выглядит сложно. Нужно потратить время, чтобы разобраться.
Продуктовая команда решает создать онбординг, рассказать о плюсах версии за деньги, помочь клиенту понять, как подключить услугу и пользоваться ею.
Сигнал: пользователи переходят с бесплатной версии на триал.
Метрика: процент конверсии бесплатных пользователей в платные и его отношение к предыдущему периоду.
Цель: увеличить конверсию бесплатных пользователей в платных
Действие: создать онбординг
Сигнал: пользователи переходят с бесплатной версии на триал
Метрика: процент конверсии бесплатных пользователей в пользователей триала.
Если гипотеза не срабатывает, выдвигают следующую и снова идут по пути «гипотеза – эксперимент», пока метрики не покажут, что команда приблизилась к реализации цели или достигла её.
Кейсы: Какие метрики считают успешные российские IT-компании
OZON.travel
Заказ, бронирование и продажа билетов
Алексей Гвильдис, менеджер продукта
Когда мы занимались развитием клиентского сервиса в B2C, поставили перед собой две цели:
1. Сократить расходы на контактный центр.
2. Повысить удовлетворенность клиентов сервисом.
Ключевыми метриками стали:
Contact Rate — количество обращений в контактный центр на один заказ.
CSAT — индекс удовлетворенности клиентов.
Решили не измерять NPS (индекс лояльности). Это метрика скорее про продукт в целом, чем про клиентский сервис, на котором мы сконцентрировались.
Цель: сократить расходы на контактный центр
→ Метрика: Contact Rate — количество обращений в контактный центр на один заказ
Цель: повысить удовлетворенность
клиентов сервисом
→ Метрика: CSAT — индекс удовлетворенности клиентов
Когда сместили фокус на B2B, CSAT использовали, чтобы отслеживать retention юридических лиц.
Когда наладили основные процессы с текущими клиентами, перевели внимание на метрики бизнеса. Сейчас отслеживаем количество регистраций, заказов и конверсию из регистраций в покупку.
VK Messenger
Мессенджер социальной сети «Вконтакте»
Виктор Иванов, менеджер продукта
Сообщения ВКонтакте прошли путь от одной из полезных функций на сайте до универсального средства общения, с помощью которого пользователи обмениваются самым разным контентом.
Нашими метриками счастья всегда были: дневное, недельное и месячное количество отправителей сообщений.
С развитием платформы и аналитики мы начали уделять внимание метрикам групповых чатов, измерять вовлеченность пользователей внутри недельной аудитории, перешли от расчёта среднего значения к расчету медианы и квантилей.
Медиана не чувствительна к «выбросам» — слишком высокой активности пользователей или слишком низкой. Если учитывать эти данные, то среднее значение уже не отражает объективную ситуацию. </i>
При просчете медианы мы распределяем значения на прямой в порядке возрастания. Затем берём число, которое находится в середине — это и будет медиана.
12 — медиана. При том, что среднее значение ряда — 16,4.
Квантили тоже компенсируют недостатки средних значений.
Если взять недельную выборку пользователей и отсортировать их по количеству отправленных сообщений, затем выделить 5% самых активных (или наименее вовлеченных), получим 95% квантиль. Это значит, что количество отправленных сообщений одним пользователем не будет превышать наибольшее значение квантиля в 95% случаев.
Значения 32 и 47 в таблице выбиваются из общего ряда. Если отсортировать их в отдельную выборку, оставшийся ряд будет 82% квантилем. При этом среднее значение квантиля приблизится к значению медианы.
На наш продукт влияет сезонность, поэтому мы выбираем такие метрики, которые могли бы дать понимание, что идет лучше, а что хуже по сравнению с прошлым годом или годами.
Метрики для нас — основной инструмент оценки ситуации.
Я начинаю утро с просмотра дашбордов: дневных и охватывающих более длительный период. Мы регулярно проводим ретроспективы запусков, где основное внимание уделяем именно результатам.
IT-компания «КРОК»
Информационные технологии в сфере b2b
Иван Пластун, директор по продвижению решений
В КРОК мы разрабатываем B2B-продукты для сегмента Enterprise.
Enterprise — комплексные информационные системы для предприятий, где есть требования к безопасности, надежности и управлению.
Наши метрики счастья — это метрики счастья наших клиентов. Мы решаем задачи бизнеса в целом или конкретного ЛПРа на стороне заказчика.
На старте отвечаем на два основных вопроса.
Что получит бизнес от нашего решения?
Если оптимизируем затраты, то:
1. За счёт чего?
2. Как выглядит оптимизация в цифрах?
3. Насколько долгосрочный и ощутимый эффект для бизнеса?
4. С помощью каких метрик мы покажем и докажем клиенту, что на оптимизацию повлияло именно наше решение, а не другие факторы?
Что даст решение ЛПРу?
1. Он станет тратить меньше времени на проблему?
2. Мы позволим ему достичь KPI? Если да, то каких.
3. Нужно ли ему согласовывать покупку нашего решения с руководством? Если да, то как помочь ему сделать это успешно?
Критерии, по которым ЛПР будет примерять решение не только к бизнесу, но и к самому себе, зачастую не менее важны для успеха сделки.
Из опыта можем выделить несколько основных метрик тщеславия для B2B-стартапов:
Количество пилотов.
Часто это пилоты без определенных сроков и метрик успеха. Это происходит из-за того, что нет стабильного контакта с ЛПРом на стороне клиента. И приводит к тому, что проект затягивается на долгие месяцы.
Количество лидов.
Если воронка наполнена некачественными лидами, их сложно конвертировать в продажи. Такие ситуации возникают после серии отраслевых конференций, где все обмениваются визитками и датами будущих встреч, которые позже сдвигают или отменяют.
Придуманные за заказчика метрики.
Эта болезнь пожирает деньги и время.
В одном из наших проектов мы были уверены, что решаем для заказчика проблему безопасности.
После общения с ЛПРом узнали, что на самом деле он хочет понять, как наше решение оптимизирует процессы и позволит сократить штат сотрудников. В итоге без изменений в продукте мы перестроили набор метрик, которые согласовали с клиентом.
Важно «на берегу» договориться с заказчиком о критериях и метриках успеха для бизнеса и для него лично. Чтобы информация была достоверной, нужно убедиться, что общаетесь именно с держателем бюджета, а не с внутрикорпоративным энтузиастом.
Данные информируют, но не решают
Метрики — ключ к пониманию ситуации, но не от всех дверей. Цифры помогают строить гипотезы и проверять их, но не заменяют полностью опыт и профессиональную интуицию продакт-менеджера.
У венчурного фонда Google Ventures самая мощная вычислительная инфраструктура в мире. При принятии инвестиционных решений они не руководствуются одним только чутьем, а опираются на данные. Однако если цифры показывают, что у стартапа большой потенциал, но команда не соответствует каким-либо из требований — инвестиции не делают. Потому что инвестируют в первую очередь в людей.
Метрики помогают принимать эффективные решения, когда четко поставлены цели и нужно понять, насколько команда приблизилась к их реализации. Но цифры не гарантируют, что эти решения будут правильными. Вообще ничего не может дать такую гарантию.