Как «кричащие» компании засоряют поток фидбека от пользователей и что с этим делать

Менеджер продукта в Gett Жорж Ничков рассказал о работе с фидбеком в b2b-сегменте на примере корпоративного продукта Gett Business Solutions. Это статья по итогам его выступления на конференции ProductSense в Москве.

Gett отстраивается от конкурентов тем, что ставит во главу угла качество услуг водителей и b2b-направление. Корпоративная платформа Gett Business Solutions — отдельный продукт для администраторов компаний. Она позволяет добавлять сотрудников, заказывать поездки, проверять отчёты и контролировать расходы. В Gett Business Solutions уже подключены около 15 тысяч корпоративных клиентов по всему миру.

Компания Gett представлена в трёх странах. Домашним рынком считается Израиль, поэтому изначально вся разработка была сосредоточена в Тель-Авиве. Два года назад начали формировать второй хаб в Москве. Сейчас там работает шесть команд, одна из них — в домене b2b.

Каждая из команд в Gett — полностью укомплектованная единица, которая способна выпускать фичи end-to-end, начиная с возникновения идеи и заканчивая прорисовкой дизайна, разработкой, релизом и трекингом.

Получается традиционное колесо разработки, которое регулярно подпитывается фидбеком от конечных пользователей. Мы постоянно анализируем обратную связь, стараясь понять, за что клиенты готовы платить и что им нужно.

Зачем фильтровать фидбек от b2b-пользователей

В Gett нет UX-исследователей, поэтому вся нагрузка по обработке фидбека ложится на плечи продакт-менеджеров. Процесс работы с обратной связью устроен так: мы получаем данные из разных источников, например App Store и Google Play, опросы, комментарии к нашим NPS-опросам, кастдевы, вводные от менеджеров по продажам и служб поддержки. Затем мы классифицируем фидбек.

Расскажу пример: мы замечаем, что в последние полгода в каждом пятом отзыве жалуются на то, что нет цены перед размещением корпоративного заказа в приложении. Мы понимаем, что это одна из наиболее популярных болей клиента, и решаем исправить её.

Пишем на коленке настройку, которая позволяет включать и выключать показ цены, и запускаем тестирование на релевантную выборку компаний. Затем смотрим на topline (выручку), а она никак не изменилась. Тогда мы проводим более глубокий анализ обратной связи, и выясняется, что в отсутствии изменений виноваты «кричащие» компании.

Что это за феномен? Наверное, каждая компания может классифицировать клиентов по оси дохода или по другой метрике активности, и в самом хвосте рейтинга окажутся клиенты, которые приносят мало выручки, но регулярно «засоряют» каналы обратной связи. При этом их жалобы не зависят от улучшений в продукте.

В нашем случае 20% фидбека — жалобы о цене от компаний, которые приносят 3−5% дохода. Поэтому мы посмотрели на результаты теста и увидели, что для большинства изменение, связанное с ценой, прошло незамеченным. «Кричащие» компании не снизили активность.

После этого открытия мы задумались, как избежать подобных ошибок в будущем и как применять количественные методы в сегменте b2b. По сравнению с сегментом b2c, это более трудозатратно, потому что для релевантной выборки требуется большое количество компаний и более длительный период. Но иначе статистически значимых данных не получить.

Первая методика: сегментация по метрикам успеха

Мы решили в качестве количественного метода использовать сегментацию и с её помощью фильтровать входящий поток обратной связи. Чтобы понять, как сегментировать клиентов, мы обратились в отдел продаж.

Менеджеры по продажам рассказали, что они делят всех клиентов на четыре категории в зависимости от прогнозируемой покупательской активности на момент подписания договора. Периодически эта метрика обновляется, но в целом не отличается последовательностью. Некоторые клиенты переходят со временем из одной категории в другую.

Мы решили взять за основу сам принцип сегментации и усовершенствовать его. В результате получилось деление по «метрике успеха». Метрика успеха связана с доходом, который приносит компания, либо с другим ключевым результирующим показателем, например количеством поездок. Мы подсчитываем этот показатель на компанию, а затем делим их на группы.

Плюс этой методики в простоте подсчёта. Даже если у вас нет других показателей, всегда найдётся финансовая отчётность, от которой можно отталкиваться.

Метрика успеха позволяет строить рейтинг обратной связи, но у неё есть и минусы. Это запаздывающий показатель, потому что для правильной оценки компании нужно некоторое время собирать данные по ней.

Покупательская активность зависит от множества факторов: работы менеджеров по продажам, сезонности, запуска новых фич в продукте и тому подобного. Получается, что метрика успеха не показывает всего потенциала клиента.

Например, клиент может пользоваться нашим сервисом, «Яндекс.Такси» и какими-то традиционными таксопарками. При этом мы видим только наш «кусочек пирога» и не можем измерить всей покупательской способности клиента.

В ходе этого эксперимента мы разобрались, что такое «кричащие» компании в нашем случае. На 80% — это малый бизнес, а на 20% — сети ресторанов и магазинов. То есть две очень разнородные группы, которые объединяло только одно — бережное отношение к бюджету на такси.

Скорее всего, сотрудникам «кричащих» компаний поручали строго следить за транспортными тратами, а потом отчитываться. Поэтому они открывали приложение и ожидали сразу увидеть цену, чтобы сравнить её с ценами конкурентов и выбрать самый дешёвый вариант.

Вторая методика: сегментация по объективным признакам

Объективные признаки присущи клиенту вне зависимости от того, насколько они привержены конкретно вашей компании. Это, например, количество сотрудников, количество офисов, строгость политики поездок, географическая расположенность.

Плюс в том, что эти метрики квазипостоянные — они или не меняются со временем, или меняются очень медленно. Если клиент к вам пришёл, вы сразу квалифицируете его в категорию по этим признакам.

Получается, что вы можете с момента возникновения лида понять, в какую группу он попадёт. Эти характеристики должны коррелировать с тем, как клиенты потребляют продукт и какими фичами пользуются.

К сожалению, в этой методике тоже есть минусы. Во-первых, сегментация по объективным признакам трудозатратна: надо анализировать данные, поведение компаний, собирать много параметров, не видимых в продукте, которые потом будут использоваться — при этом часть из них не понадобится в итоговой сегментации.

Во-вторых, нет какой-то волшебной формулы, которую можно применить к любому бизнесу. Получается, что эта методика, как и большая часть менеджмента продуктов, находится где-то посередине между наукой и искусством.

Руководство к действию

Расскажу о тех шагах, которые мы сделали в Gett, чтобы вывести свои сегменты. Вначале мы пообщались с менеджерами по продажам и попросили их вспомнить самых удобных, прибыльных клиентов и более проблемных, от которых они получают больше головной боли, чем бонусов.

Чем одни отличаются от других? На основе полученной информации мы сформировали длинный список параметров-кандидатов. Из них оставили короткий список тех показателей, которые показались нам наиболее вероятными и которые реалистично собрать. Далее попросили менеджеров по продажам проставить по всем компаниям нужные признаки.

Спойлер: лучше так не делать, поскольку мы отвлекли коллег от работы и продажи немного приостановились. Если вы осознали потребность в сегментации довольно рано и у вас есть время, можно настроить поля в CRM-системе и попросить собирать данные по всем новым компаниям в ней.

В результате мы получили множество подсегментов. По каждому из них составили поведенческий профиль компаний на основе использования ими фичей в нашем продукте и паттернов заказа. Далее кластеризовали все подсегменты в более крупные на основе схожести поведенческих профилей.

Каждый из кластеров мы постарались описать и понять, чем он принципиально отличается от остальных. В итоге обычно выделяется 2−5 ключевых дифференцирующих показателей, которые служат основой для сегментации и скоринга компании.

У нас получилось около десяти сегментов, каждый из которых мы проверили, целевой ли он. Также мы померили наш product-market fit в каждом сегменте. Подсчитать его довольно легко: мы разделили все компании сегмента по их активности. В нашем случае активность мерилась по количеству поездок в месяц. Если доля активных компаний в сегменте большая, значит product-market fit высокий — компании пользуются продуктом охотно и приносят деньги.

Три типа сегментов, которые у нас получились

Возьмём первый тип сегмента с хорошим product-market fit. Скорее всего, это компании, которые довольны продуктом, приносят регулярный доход, жалуются редко или на какие-то мелочи. Это целевой сегмент.

Второй тип сегмента тоже целевой, но здесь показатель product-market fit хуже, чем в первом. Это значит, что в компаниях, которые сюда попадают, стоит разобраться. Например, у нас во второй сегмент попали мультинациональные компании, которые относительно часто ездят в аэропорт. Мы выяснили, что для этого типа поездок они чаще выбирали конкурентов, а мы теряли эту часть трафика.

Мы начали разбираться, в чём причина. Выяснилось, например, что иностранные гости получали смски на русском и не могли найти водителя. Чтобы решить эту и другие проблемы, мы сделали небольшую дорожную карту по основным пробелам в этой области, таким как уведомления на английском языке.

Также мы добавили отслеживание по номеру рейса, потому что рейсы часто отменяют или переносят, а водители долго ждут, и это ожидание оплачивает компания. Эти улучшения постепенно дают плоды и повышают показатель product-market fit.

Третий тип сегмента — это как раз «кричащие» компании, которые регулярно жалуются на отсутствие цены в приложении. Вклад этих ребят в пул обратной связи непропорционально большой, а product-market fit низкий.

Для обработки обратной связи и улучшения продукта мы выбрали такую схему. Каждый продакт-менеджер регулярно смотрит поток обратной связи и тегирует фичи или проблемные зоны, если пока не понятно, как мы их собираемся решать.

Это то, что мы делаем вручную, так как хотим тренировать эмпатию и нейронную сетку в своих головах для лучшего понимания пользователей. Далее нам приходит на помощь автоматизация.

Мы подтягиваем компанию жалующегося пользователя, сегмент этой компании, её активность и на основе этого присваиваем «вес» каждой единице фидбека. Этот вес играет роль голоса за фичу. Для малозначимых компаний вес меньше, для целевых — больше.

В результате из всех данных мы собираем рейтинг проблемных областей, которые попадают в топ отзывов у первого, второго или третьего типов сегмента. Далее в ход вступает приоритизация: мы решаем, какие улучшения делать в первую очередь и для каких сегментов. И затем либо уточняем потребности компании, оставившей фидбек, либо сразу запускаем доработку фичи, если уже есть хорошее понимание предметной области.

Выводы

  • Если видите негативную обратную связь, не нужно сразу её фиксить. Сначала разберитесь, какой клиент оставил жалобу — целевой или нет.
  • Сегментация поможет вам понять, целевой ли клиент. Фокусируйтесь на целевых сегментах.
  • Определяйте product-market fit в целевых сегментах с помощью метрики успеха.
  • Фильтруйте весь фидбек по сегментам, чтобы сэкономить время и тестировать гипотезы на нужных клиентах.

Благодарим за подготовку статьи редактора Елену Егину.

0
7 комментариев
Написать комментарий...
Evgeny Lukin

По сути, в статье написано, что всем требованиям клиентов присваиваются веса, в зависимости от важности (доходности) клиента. И таким образом ранжируются (приоритизируются) запросы на имплементацию фич.
При этом получается, что если какой-то клиент сейчас пользуется мало, то вместо того что бы понять почему и как увеличить его LTV, его запросы де-приоритизируются. Очень странный подход.

Ответить
Развернуть ветку
George Nichkov

Веса в зависимости от дохода от клиентов = это как раз первый тип сегментации, по метрике успеха, с которого мы начинали и от которого ушли. 

Если пользоваться второй методикой, каждому фидбеку дается вес в зависимости от того, целевой ли сегмент у этого клиента. Как я писал, сегмент может быть трех типов: 1) целевой с хорошим Product/Market Fit (PMF), 2) целевой с плохим PMF, или 3) нецелевой. Вы как раз говорите о втором типе. И отзыв от такого клиента будет идти с высоким скором

Ответить
Развернуть ветку
Evgeny Lukin

Не понятно зачем вы вообще используете веса (не важно как вы их считаете) как какой-то критерий приоритизации фич - вы же B2B. Если вы делаете нормальный Customer Journey по типам клиентов, то вы сами понимаете что нужно доделать и главное ЗАЧЕМ.
В вашем примере про цены на поездки - не важно какие клиенты просили вас это - крупные или нет, кричащие или нет. Даже если бы это просили крупные и они бы планировали это использовать что бы сравнивать ваши цены с конкурентами, то вы, внедрив это, могли потерять продажи. Тем B2B и отличается, что Product может и должен говорить с клиентами (разных типов) для того что бы понимать их реальные боли, а не то, что клиенты пишут.

P.S.
Интересно, ваши клиенты, прочитав эту статью, не будут думать что это вы их назвали "кричащими"? :)
 

Ответить
Развернуть ветку
Михаил Степовой

Вполне логично, что приоритет отдается сначала тем клиентам, которые постоянно пользуются твоими услугами/сервисом, и чьи замечания и претензии имеют под собой больше оснований для обработки, чем те, которые лишь жалуются, но практически не пользуются 

Ответить
Развернуть ветку
Павел Хорошаев

Интересная вариацмия сегментации и вполне имеет место быть. Согласен с тем, что есть категория "кричащих" компаний/людей, от них действительно фидбека по сущетсву практически не бывает.

Ответить
Развернуть ветку
Владимир Забегайлов

О дааааа, кричащие компании это жесть. Одновременно это и твои клиенты, но в то же время, толку от них практически никакого. Чем меньше фирмы, тем больше понтов и проблем от них

Ответить
Развернуть ветку
Сослан Сакшин

Отличная статья

Ответить
Развернуть ветку
4 комментария
Раскрывать всегда