Продуктовому аналитику: 7 методик, чтобы находить кратные точки роста продукта

Привет! Меня зовут Денис Пехтерев, я руковожу командой аналитиков CPA монетизации — мы помогаем Авито создавать продукты, в которых пользователи платят за результат. На последнем аналитическом ревью мы столкнулись с проблемой: как быть, если аналитик любит свой продукт, но идеи новых проектов не приходят в голову?

👉 Подробнее о том, как у нас проходит ревью аналитиков

Поиск аналитических задач и идей для продукта, которые будут приносить деньги, — одна из ключевых компетенций, которые мы хотим развивать в команде. Поэтому мы подошли к вопросу обстоятельно: придумали гайд, который помогает аналитикам генерировать идеи. Думаю, статья будет также полезна продактам и другим специалистам, которые ищут точки роста в продуктах.

А ещё в конце будет розыгрыш →

Изучайте, что делают коллеги и конкуренты

Разложите свой продукт до основных метрик

Составьте и проанализируйте воронку: ищите узкие места и зоны роста

Изучите механики фрода и подумайте, как снизить количество недобросовестных операций

Соберите больше данных по продукту

Проведите брейншторм с продакт-менеджерами

Детально изучите один из сегментов пользователей

Задачи редко рождаются в вакууме: чтобы найти новые проекты, важно интересоваться тем, что уже происходит в других командах. Старайтесь задавать больше вопросов самому себе и окружающим — в первую очередь спрашивайте, «зачем мы это делаем» и «как ещё это можно сделать». Чаще обсуждайте проблемы коллег из смежных команд.

Попробуйте сделать существующее решение более эффективным с помощью анализа данных. Например, это получилось у аналитиков из Авито Доставки. Коллеги решили узнать, как большие сроки доставки и опоздания влияют на отток пользователей.

Они провели исследования и выяснили: конверсия в заказы выше, если срок доставки небольшой. Но стремиться постоянно сокращать сроки — рискованно, потому что так растёт вероятность опозданий, а они влияют на retention:

Тогда аналитики предложили эвристики, которые помогли не только сокращать, но и лучше прогнозировать сроки. Тем самым получилось сделать продукт более удобным и предсказуемым для покупателей.

Подробнее об этой истории можно узнать из выступления нашего аналитика Андрея Васильченко:

👉 Видео-доклад «Как мы оптимизировали сроки доставки в Авито Доставке» c Avito Analytics Meetup

Узнайте, чем занимаются аналитики в других компаниях. Например, мы любим общаться с коллегами на конференциях и митапах. Наши PR- и HR-отделы готовят для них стойки с подарками, и мы ставим аналитиков дежурить там. Так они успевают много с кем пообщаться и обменяться планами.

Ещё стоит следить за телеграм-каналами и другими соцсетями коллег, если они рассказывают там о профильных исследованиях.

👀 Телеграм-каналы:

«Под капотом Яндекс.Такси»: публикуют доклады, вебинары, статьи про аналитику, data science и технологии в Яндекс.Такси.

«gonzo-обзоры ML статей»: комментируют материалы про машинное обучение.

«Product Science»: автор рассказывает о продуктовой и бизнес-стратегиях, метриках, аналитике и исследованиях пользователей, User Experience и прикладной Data Science.

«Reveal the Data»: Роман Бунин рассказывает про визуализацию данных, дашборды и развитие BI-систем.

👀 Youtube-каналы:

AvitoTech: мы рассказываем о разработке, публикуем записи митапов, интервью и конференций.

Академия Яндекса: записи видео со Школ управления продуктом и проектами

Идеи можно почерпнуть и у стартапов в вашей сфере: полезно иногда заходить на Crunchbase и смотреть, какие компании недавно прошли 2-й или 3-й раунд финансирования, что они делают и какие проблемы решают. Обычно они уже провели хороший анализ рынка, пережили несколько пивотов и, самое главное, предложили рынку что-то новое.

Чтобы найти проблемные места, важно научиться смотреть на текущие результаты с разных сторон и декомпозировать метрики.

Разложите ключевую метрику на актуальные разрезы, чтобы изучить проникновение важных для вас продуктовых фичей в разных сегментах. Если где-то результаты будут низкими — подумайте, почему так происходит.

Вот как можно сделать это в компании, где уже выстроена качественная работа с метриками в отчётах и в экспериментах:

1. Откройте глоссарий всех метрик;

2. Возьмите прибыль по продукту и разложите её, как на скрине ниже:

Разложите проблему до первопринципов. Используйте фреймворк First Principles, чтобы проанализировать причины изменений в метриках, бизнесе или поведении пользователей. Суть подхода в том, чтобы разложить комплексные вопросы до фундаментальных знаний, в которых вы точно уверены, а затем использовать их для поиска новых вариантов решений.

👉 Подробнее о First Principles

Илон Маск описывает этот подход так: «Сведите всё к фундаментальным истинам и спросите себя: мы уверены, что все из них правдивые? А потом рассуждайте дальше, многократно спрашивая себя: почему?»

Для этого важно запустить опросы и выяснить, почему пользователи не переходят на следующие этапы воронки или вовсе перестали пользоваться продуктом.

Подумайте, как можно расширить верх воронки. Задача по привлечению новой ЦА всегда актуальна. Практика показывает: если задуматься о том, как расширить воронку, выяснится, что у продукта есть более широкая аудитория.

Это отличное поле для поиска новых аналитических задач. Сначала оцениваем вероятность входа в воронку потенциальной ЦА, затем понимаем, кого из аудитории нужно привлекать и по какой цене.

Например, поскольку Авито семимильными шагами идёт в сторону полноценного маркетплейса, мы уже сейчас расширяем воронку привлекаемых продавцов. Концентрируемся на профессиональных продавцах и больших бизнесах.

Пройдите путь пользователя в продукте. Советую самостоятельно создать аккаунт и пройти основные этапы пользователя в вашем продукте. Так вы увидите точки роста и ограничения, с которыми сталкиваются люди.

Например, я недавно создал тестовый профиль на Авито и разместил объявление с товаром в тарифе с оплатой за просмотры. Тариф — это инструмент, которым пользуются профессиональные продавцы.

👉 Статья «Зачем нужны тарифы и как они устроены»

Я пополнил аванс на просмотры и стал следить за тем, как пользователь получает информацию о результатах своих объявлений. Смотрел за аналитикой в кабинете Авито Pro, читал и анализировал пуш-уведомления, которые мы присылаем. Выявил несколько точек роста и написал об этом в Confluence.

Затем я собрал метрики, на которые мы повлияем этими изменениями и пришёл к Unit Lead нашего продукта. Согласовал с ним задачи, и в итоге мы забрали в работу большую часть того, что я увидел — уже с примерной оценкой аплифта от изменений.

В любом продукте важно следить за тем, чтобы лазеек для недобросовестных пользователей было как можно меньше. Это нужно и для общей безопасности, и для бизнеса, потому что мошенничество — это финансовые потери компании. Так что изучение фрода — тоже отличное поле для поиска аналитических задач.

Изучите, как недобросовестные пользователи могут получать дополнительную пользу. Обычно заметить странное поведение помогает анализ 99%-го перцентиля по той или иной метрике.

Например, недавно подобную аналитическую задачу решала команда Авито Аукциона. Это инструмент, который позволяет людям продавать машины: они описывают авто, эти данные получают дилеры и затем в течение суток делают свои предложения на выкуп. Пользователь выбирает выгодное предложение, привозит автомобиль на проверку дилеру и, если всё в порядке, заключает сделку.

Команду Авито Аукциона насторожило, что большое количество опытных дилеров делают ставки в самом конце аукциона:

Аналитики предположили, что так недобросовестные дилеры пытаются купить больше машин. Они предлагают собственникам самые высокие ставки под конец аукциона, но затем, когда человек привозит машину на проверку, придираются к состоянию автомобиля и сильно сбивают цену. В итоге сделка либо срывается, либо проходит невыгодно для собственника.

Когда аналитики обнаружили проблему, они придумали решение, которое изменило поведение недобросовестных дилеров и уменьшило количество тех, кто пытался обыграть механику аукциона своими ставками.

Подробнее о том, что предприняли для борьбы с недобросовестными дилерами, можно узнать из выступления Алёны Салий:

👉 Видео-доклад «Продуктовая аналитика vs недобросовестное поведение дилеров в Авито Аукционе» с Avito Analytics Meetup

Чем больше у вас обратной связи от пользователей и коллег, тем лучше почва для поиска новых задач.

Позвоните клиентам вашего продукта. Раз в несколько месяцев у нас проходит стажировка в отделе продаж Авито — мы проводим несколько часов на звонках с клиентами.

Так мы лучше узнаём потребности пользователей и разбираемся в том, как они работают с продуктом. Это помогает понять, чего в нём не хватает. А общаясь с коллегами из отдела продаж, я лучше понимаю, каких аналитических инструментов не достаёт им. Я собираю потребности, повышаю приоритет таким задачам и беру их в работу.

Почитайте отзывы пользователей. App Store, Google Play и App Gallery подталкивают пользователей оценивать приложения и писать отзывы. Можно зайти на все площадки, где скачивают ваше приложение, и посмотреть, что пишут люди.

Часто отзывы неинформативные и односложные, но бывает и развивающая обратная связь. Её вполне можно взять за основу, когда придумываете новые задачи.

Протестируйте аналогичные продукты конкурентов. Если увидели интересную фичу в их продуктах, можно пойти и оценить, на каких клиентов она направлена. А затем — посчитать, сколько выручки она может принести вам.

Если поймёте, что фича может быть полезной для людей и принесёт выгоду бизнесу, её нужно оценить и отнести продактам. А также добавить её в приоритеты относительно уровня прокачки целевой метрики.

Изучите сообщения в поддержке. Если пользователь решил написать в поддержку, значит, проблема сильно его беспокоит или повторяется из раза в раз. Такая обратная связь очень информативна для всех, кто работает с продуктом.

Например, мы используем обращения в поддержку, когда выделяем темы, которые беспокоят пользователей. Некоторые из них покрываются заранее готовыми шаблонами, некоторые же являются уникальными для только что запущенного продукта. Далее мы следим за ними в динамике и таким образом понимаем, над чем важно работать в первую очередь.

Изучите, с какими вопросами чаще всего обращаются к аналитикам. Как руководителю команды, мне важно знать, с какими запросами коллеги из других отделов приходят к моим ребятам. А также понимать, что из этих вопросов можно закрыть самописными решениями или дэшбордами.

Стоит отметить, что у нас в Авито хорошо выстроена структура аналитических дежурств. Мы назначаем аналитика, который в рабочее время отвечает на вопросы коллег по продукту. Из обращений к дежурному аналитику мы с командой забираем топики, которые нужно лучше расписать в Confluence.

Привлеките внешние ресурсы. Можно запросить у отдела стратегии обзор конкурентов или собрать эти данные силами внешних агентств, но для этого нужно будет сформулировать пользу и обосновать решение продактам или бизнесу. Без них привлечь внешние агентства, скорее всего, не получится.

Попробуйте организовать встречу, где вместе с продактами будете генерировать идеи. Предварительно все участники читают бэклог и готовятся, затем на встрече высказывают идеи, а в конце предложенные варианты нужно будет отфильтровать.

Вот как провести такую встречу:

1. Подготовьте иерархию метрик и выпишите идеи, которые уже обсуждались или фигурировали в других источниках информации по продукту. На пример иерархии можно посмотреть в пункте «Разложите свой продукт до основных метрик» ↑

2. Поделитесь списком с остальными участниками — продактами и аналитиками. Укажите срок, за который им нужно успеть с ним познакомиться.

3. Назначьте две встречи: первую — про знакомство с иерархией метрик и генерацию идей, а вторую — про оценку и голосование за идеи.

4. На первой встрече:

— Презентуйте иерархию метрик, пройдитесь по её составляющим и в деталях разберите, что и зачем на ней находится.

— Начните генерировать идеи: запустите таймер на 15 минут и соберите как можно больше предложений от всех участников встречи.

5. Вторую встречу проведите минимум через 7–10 дней, чтобы коллеги успели донести свои предложения. Перед встречей попросите всех обязательно познакомиться с идеями, написать комментарии и вопросы. На встрече пройдитесь по списку и устройте голосование — какие идеи стоит взять в работу.

6. Соберитесь вместе с продактом, который отвечает за обсуждаемый участок работы, и оцените выбранные идеи с точки зрения денег, сложности реализации, и потенциального выхлопа.

Разделите пользователей на категории и посмотрите, чем они отличаются друг от друга. Попробуйте ответить на такие вопросы: «Нельзя ли сделать для них разные варианты продукта или условий?», «Нельзя ли что-то оптимизировать, если сфокусироваться на конкретном сегменте?».

Например, сегментация недавно помогла аналитикам из команды опыта продавцов добавить в продукт нововведения.

Продавцы на Авито делятся на четыре сегмента по поведенческим характеристикам и тратам:

Аналитики сконцентрировались на проблемах продавцов из малого и среднего бизнеса — это представители сегментов Private Earning и MidMarket. Они провели много качественных исследований и определили ключевые трудности таких пользователей:

1. Они не понимают, как могут повлиять на количество контактов с покупателями.

2. Они часто оформляют объявления недостаточно качественно.

3. Они не получают онбординга по инструментам Авито. В отличие от крупных компаний, с ними не работают персональные менеджеры, поэтому им приходится разбираться во всём самостоятельно.

Чтобы решить эти проблемы, коллеги проанализировали факторы успеха других продавцов в сегменте и подготовили систему подсказок. Система помогает менее успешным пользователям улучшить результаты — в итоге они начинают зарабатывать больше, а мы растим метрики. Подсказки в будущем планируем масштабировать и на другие сегменты.

Подробнее о том, как аналитики изучали факторы успеха и готовили подсказки, можно узнать из выступления Алины Вельниковской и в другой нашей статье:

👉 Видео-доклад «Успешность продавцов на Авито. Как с помощью аналитики можно улучшить результаты клиентов?» с Avito Analytics Meetup.

Есть много способов генерировать идеи в продукт, в материале я перечислил самые основные. Не сомневаюсь, что вам тоже есть чем поделиться, и буду рад услышать о ваших подходах 👇