Аналитика в b2b: вероятное, невероятное, сфинксы и арбузы
Есть такое поверье, что в b2b с аналитикой все не очень хорошо. Мол, битубишники чаще всего ничего не умеют считать. Да считаем мы. Те, кто с SaaS работает — считаем. Но есть тут пара забавных моментов.
⚠ Наш пользователь — это группы людей, объединенных строчкой в резюме. В этих группах разное число людей. Например, в организации может быть 10, 100, 500, 1000 сотрудников.
И тут важен не размер группы (группировать по размеру умеют все), а то, что в компании, где работает 10 человек – и в компании, где работает 500, будут разные отделы, разные бизнес-процессы, и важны им разные вещи. Например, компании до 100 человек редко озабочены безопасностью, а компании до 30 сотрудников редко требуются какие-то дополнительные возможности контроля людей.
В результате эти самые «группы людей» разнородны по ролевой модели, структуре и проблемам. Например, считается, что ИТ директор и ИТ отдел у бизнеса быть должны — а в небольшой компании могут и не быть нужны. Если продукт внедряет собственник бизнеса лично, мы имеем дело с совсем другими болями, чем когда все делает потомственный админ с правильным бубном.
Отдел внутреннего обучения в компании может быть — а может и не быть. Кому из этих клиентов UX будет абсолютно критичен?
Делала как-то глубинник с одним крупным клиентом. Навожу его на тему онбординга, и тут он такой «Неее, мы все сами делаем. Мы сами курсы разрабатываем, ничего не надо. У нас корпоративный университет. Никаких проблем. Да тут и вариантов никаких нет, мы же по нашим сценариям и нашей специфике обучаем.»
И правда…
⚠ Взяли компании одного размера и сравнили. Правильно? Нет. Потому что в B2B есть индустрии.
Если вам повезло, и ваш продукт — это продукт для одного типа бизнеса, типа r_keeper 🧑🍳, пойте и пляшите. Потому что часто бывает так, что ваш клиент в равной степени сеть магазинов Пятерочка — с условной численнностью 5000 человек, и компания-разработчик, например, Мой Офис, на те же условные 5000 человек. С одинаковой ли частотой и интенсивностью они пользуются вашим продуктом? Одинаковые ли у них ожидания? А сценарии использования? Будут ли они давить на кнопку «Пыщь» одинаково часто?
Я даже подскажу – но стоит помнить, что эти подсказки тоже условны:
Ритейлерам крайне важна оптимизация костов, это основа их бизнес-модели. Лучше меньше функционала и дёшево, а совсем хорошо, когда больше функционала и ещё дешевле. «В полях» требуются какие-то совсем базовые вещи, а основные сотрудники — продавцы, кассиры, мерчендайзеры и прочие люди, которым компьютер для работы почти не нужен, а зарплаты невысокие. Но контроль над этими сотрудниками как раз необходим.
При этом есть головной офис, в котором сотрудников не так много, но используют ИТ решения они очень интенсивно.
В ИТ компании такого же размера будет крайне важна безопасность и высокий функционал. Сотрудники стоят дорого и софт должен обеспечивать высокую результативность их работы. Всегда есть сильный ИТ-отдел, который внедрит что угодно. А поскольку основная ценность – интеллектуальная собственность в виде кода, и основные бизнес-риски в утечке данных и появлении уязвимостей, требования по безопасности будут драконовскими.
Кстати, компании одной индустрии все равно неоднородны по ролевому составу: даже в ИТ компании есть отдел бухгалтерии, HR, юристы – которые совсем не айтишники. То есть, индустрия – это ещё не сегментирование по роли и профессии. Но дает очень много инсайтов.
⚠Вы мне скажете (и сделаете правильно), что для анализа этих пользователей надо попилить по индустриям.
Несомненно.
Окей. Попилили по размеру, индустрии, ролям, когортам, географии, девайсам. Вынули больших уникальных клиентов, которые перекашивают всю базу.
Отпилили отдельно триальщиков, научились отличать пилотные внедрения (это когда для клиента делают среду, которая очень похожа на рабочую) от боевого использования. Результаты оказались статзначимыми. Как думаете, это всё?
⚠ Неа. Даже если метрики, которые вы считаете, абсолютно правильно сегментированы и подсчитаны, и вы полностью контролируете то, что все команды делают с продуктом и его продажей (хинт — это невозможно) , в вашу идиллию эпично врываются внутренние процессы клиента.
В вашем продукте может абсолютно ничего не меняться, а метрики будут гулять. Ибо, например, у разных бизнесов разная сезонность, разные текущие проекты, расширения, сокращения, слияния и поглощения.
А колебания MAU из-за начала ключевого проекта у клиента (для продукта – нейтрально) , и вирусное распространение продукта в новый отдел (продукт — молодцы) на уровне цифр различить вообще нельзя. И та и та ситуация видна как рост MAU.
Нужно идти в аккаунт-менеджера и узнавать. Ну и если процессы клиента друг друга уравновешивают, вы можете абсолютно спокойно сидеть на вулкане.
⚠ Пользуются = любят тоже нерелевантно. Скажите, насколько часто в B2C встречаются ситуации, когда ваш продукт конечные пользователи искренне ненавидят, но используют каждый день? Но.. покажите мне хотя бы одного продавца, который искренне любит заносить данные в CRM.
Ну и если честно, в B2B пользуются одни – а любят другие.
А если отдел продаж сильный, то вас будут ненавидеть, но мучаться и использовать, исправно продляя договор каждый год. Метрики будут как арбуз – вроде и зеленые с первого взгляда, но как только у клиента появится выбор – очень даже красные.
⚠ Делайте проще, скажете вы мне. Вот всем и будет хорошо. Но ИТ отделу не нужно «просто». Им нужна кастомизация и контроль. Куча настроек, чтобы сделать так, как нужно именно им.
Совершенно серьезно, есть компании, которым, например, нужна двухфакторная авторизация, и есть те, которые из-за обязательного двухфактора от вас уйдут. Есть те, кто хочет давать сотрудникам право менять и редактировать задачи (и это важно), а есть те – кто запрещает сотрудникам задачи менять (и это тоже важно). И тех и тех много.
Поэтому, практически обязательный компонент любой хорошей фичи B2B – это возможность отключить её из админ панели.
Владельцу же, например, кастомизация не важна — нужен ROI. А ИБ — бескомпромиссная безопасность. Ну и мы помним, что меньше всего рисков тогда, когда сотрудники не работают или их нет. Правда, тут уже владелец против.
В общем, картинка работы с аналитикой у B2B продакта выглядит как-то так
Вчера выкатили предварительно заАБшеную фичу. Сегодня зашли смотреть динамику DAU/MAU/Retention rate/целевого действия и видите просадку аж в 5 раз. Пьёте успокоительное, проверяете, что все волосы с головы уже вырваны на прошлой неделе, идете в саппорт.
Всё ок.
Лезете глубже в аналитику. Через 10 минут раскопок выясняете, что ученье-счет – а неученье тьма. Летние каникулы начались. А у вас Образование не промечено, как образование.
Какой-то спад летом происходит в большинстве бизнесов, но в образовании сезонность просто фантастическая. Каждое лето ваши учителя и преподаватели отправляются в летний отпуск, школьники и студенты на каникулы, а часть их выпускается – и замена ушедшим появится только в сентябре. Просадка ВСЕХ показателей на порядок? Да легко! Но с клиентом ведь всё ок. И с продуктом все ок.
Вынимаем образование. Выдыхаем.
Отделяем метрики по новым и триальщикам в одну сторону – метрики по старым в другую.
И тут в новых видим, что их прибыло. Причем от новых аккаунтов. Понятно, что себе записать мы не можем – это продажи стараются. Они уже месяц заводят 3-х крупных клиентов. Вот, собственно, и они. Хотя как-то маловато.
Интересно, нет ли у них проблем на входе. Надо продавцов спросить.
Так, а тут у нас старенькие клиенты. MAU подрос. Хорошо-то как. А ну-ка глянем по аккаунтам, мало ли чего.
Таааак. Этот рост в 2 раза на нашем крупном старом клиенте – подозрительно. А не, все уже ок, саппорт говорит, что там сервис залип, и его перегружало.
В общем, убрали всех, кто выделялся, посмотрели оставшихся. Живем! Кажется, реально пользуются.
------
Ну и памятка напоследок
1. Можно отлично разбираться в данных, но если не знать бизнес клиентов во всем его многообразии, никакие дисперсии и доверительные интервалы не помогут принять правильное решение.
2. Для B2B продуктолога смотреть данные глубоко важнее, чем смотреть данные часто. Ведь вы не просто смотрите на картинку, а хотите на нее повлиять. А в метриках всегда либо арбуз (зеленое снаружи- красное внутри), либо кот-сфинкс (снаружи так себе, а при внимательном рассмотрении крайне тёплый и приятный кот).
3. Очень желательно знать крупных клиентов, большие сделки, и сколько в них продано мест. Это даст вам одновременно и понимание, насколько клиент вас использует, и подсветит крупных клиентов с индивидуальными сценариями.
4. Прямой канал связи с космосом саппортом – наше всё.
5. Чем детальнее промечена информация о клиенте, и чем глубже можно сегментировать циферки, опираясь на нее, тем больше у вас шансов узнать реальное положение вещей. С чего начать? С индустрий. Разрез по индустрии дает сезонность и паттерны использования.
6. Но если этого нет – вам нужно уметь смотреть данные по отдельным клиентам. И вот это уже обязательно, потому что…
7. Каждая организация, в целом, уникальна даже в рамках своей индустрии. Именно поэтому она и работает. Ваша задача найти в этом какие-то закономерности и улучшая опыт для одних, не делать его хуже для остальных.
Ну и последнее. Тут много от искусства и детектива. Шерлоку бы понравилось.
Ах, да, и наш канальчик, как положено Семейка продактов