Как «кричащие» компании засоряют поток фидбека от пользователей и что с этим делать

Менеджер продукта в Gett Жорж Ничков рассказал о работе с фидбеком в b2b-сегменте на примере корпоративного продукта Gett Business Solutions. Это статья по итогам его выступления на конференции ProductSense в Москве.

Gett отстраивается от конкурентов тем, что ставит во главу угла качество услуг водителей и b2b-направление. Корпоративная платформа Gett Business Solutions — отдельный продукт для администраторов компаний. Она позволяет добавлять сотрудников, заказывать поездки, проверять отчёты и контролировать расходы. В Gett Business Solutions уже подключены около 15 тысяч корпоративных клиентов по всему миру.

Компания Gett представлена в трёх странах. Домашним рынком считается Израиль, поэтому изначально вся разработка была сосредоточена в Тель-Авиве. Два года назад начали формировать второй хаб в Москве. Сейчас там работает шесть команд, одна из них — в домене b2b.

Каждая из команд в Gett — полностью укомплектованная единица, которая способна выпускать фичи end-to-end, начиная с возникновения идеи и заканчивая прорисовкой дизайна, разработкой, релизом и трекингом.

Получается традиционное колесо разработки, которое регулярно подпитывается фидбеком от конечных пользователей. Мы постоянно анализируем обратную связь, стараясь понять, за что клиенты готовы платить и что им нужно.

В Gett нет UX-исследователей, поэтому вся нагрузка по обработке фидбека ложится на плечи продакт-менеджеров. Процесс работы с обратной связью устроен так: мы получаем данные из разных источников, например App Store и Google Play, опросы, комментарии к нашим NPS-опросам, кастдевы, вводные от менеджеров по продажам и служб поддержки. Затем мы классифицируем фидбек.

Расскажу пример: мы замечаем, что в последние полгода в каждом пятом отзыве жалуются на то, что нет цены перед размещением корпоративного заказа в приложении. Мы понимаем, что это одна из наиболее популярных болей клиента, и решаем исправить её.

Пишем на коленке настройку, которая позволяет включать и выключать показ цены, и запускаем тестирование на релевантную выборку компаний. Затем смотрим на topline (выручку), а она никак не изменилась. Тогда мы проводим более глубокий анализ обратной связи, и выясняется, что в отсутствии изменений виноваты «кричащие» компании.

Что это за феномен? Наверное, каждая компания может классифицировать клиентов по оси дохода или по другой метрике активности, и в самом хвосте рейтинга окажутся клиенты, которые приносят мало выручки, но регулярно «засоряют» каналы обратной связи. При этом их жалобы не зависят от улучшений в продукте.

В нашем случае 20% фидбека — жалобы о цене от компаний, которые приносят 3−5% дохода. Поэтому мы посмотрели на результаты теста и увидели, что для большинства изменение, связанное с ценой, прошло незамеченным. «Кричащие» компании не снизили активность.

После этого открытия мы задумались, как избежать подобных ошибок в будущем и как применять количественные методы в сегменте b2b. По сравнению с сегментом b2c, это более трудозатратно, потому что для релевантной выборки требуется большое количество компаний и более длительный период. Но иначе статистически значимых данных не получить.

Мы решили в качестве количественного метода использовать сегментацию и с её помощью фильтровать входящий поток обратной связи. Чтобы понять, как сегментировать клиентов, мы обратились в отдел продаж.

Менеджеры по продажам рассказали, что они делят всех клиентов на четыре категории в зависимости от прогнозируемой покупательской активности на момент подписания договора. Периодически эта метрика обновляется, но в целом не отличается последовательностью. Некоторые клиенты переходят со временем из одной категории в другую.

Мы решили взять за основу сам принцип сегментации и усовершенствовать его. В результате получилось деление по «метрике успеха». Метрика успеха связана с доходом, который приносит компания, либо с другим ключевым результирующим показателем, например количеством поездок. Мы подсчитываем этот показатель на компанию, а затем делим их на группы.

Плюс этой методики в простоте подсчёта. Даже если у вас нет других показателей, всегда найдётся финансовая отчётность, от которой можно отталкиваться.

Метрика успеха позволяет строить рейтинг обратной связи, но у неё есть и минусы. Это запаздывающий показатель, потому что для правильной оценки компании нужно некоторое время собирать данные по ней.

Покупательская активность зависит от множества факторов: работы менеджеров по продажам, сезонности, запуска новых фич в продукте и тому подобного. Получается, что метрика успеха не показывает всего потенциала клиента.

В ходе этого эксперимента мы разобрались, что такое «кричащие» компании в нашем случае. На 80% — это малый бизнес, а на 20% — сети ресторанов и магазинов. То есть две очень разнородные группы, которые объединяло только одно — бережное отношение к бюджету на такси.

Скорее всего, сотрудникам «кричащих» компаний поручали строго следить за транспортными тратами, а потом отчитываться. Поэтому они открывали приложение и ожидали сразу увидеть цену, чтобы сравнить её с ценами конкурентов и выбрать самый дешёвый вариант.

Объективные признаки присущи клиенту вне зависимости от того, насколько они привержены конкретно вашей компании. Это, например, количество сотрудников, количество офисов, строгость политики поездок, географическая расположенность.

Плюс в том, что эти метрики квазипостоянные — они или не меняются со временем, или меняются очень медленно. Если клиент к вам пришёл, вы сразу квалифицируете его в категорию по этим признакам.

Получается, что вы можете с момента возникновения лида понять, в какую группу он попадёт. Эти характеристики должны коррелировать с тем, как клиенты потребляют продукт и какими фичами пользуются.

К сожалению, в этой методике тоже есть минусы. Во-первых, сегментация по объективным признакам трудозатратна: надо анализировать данные, поведение компаний, собирать много параметров, не видимых в продукте, которые потом будут использоваться — при этом часть из них не понадобится в итоговой сегментации.

Во-вторых, нет какой-то волшебной формулы, которую можно применить к любому бизнесу. Получается, что эта методика, как и большая часть менеджмента продуктов, находится где-то посередине между наукой и искусством.

Расскажу о тех шагах, которые мы сделали в Gett, чтобы вывести свои сегменты. Вначале мы пообщались с менеджерами по продажам и попросили их вспомнить самых удобных, прибыльных клиентов и более проблемных, от которых они получают больше головной боли, чем бонусов.

Чем одни отличаются от других? На основе полученной информации мы сформировали длинный список параметров-кандидатов. Из них оставили короткий список тех показателей, которые показались нам наиболее вероятными и которые реалистично собрать. Далее попросили менеджеров по продажам проставить по всем компаниям нужные признаки.

Спойлер: лучше так не делать, поскольку мы отвлекли коллег от работы и продажи немного приостановились. Если вы осознали потребность в сегментации довольно рано и у вас есть время, можно настроить поля в CRM-системе и попросить собирать данные по всем новым компаниям в ней.

В результате мы получили множество подсегментов. По каждому из них составили поведенческий профиль компаний на основе использования ими фичей в нашем продукте и паттернов заказа. Далее кластеризовали все подсегменты в более крупные на основе схожести поведенческих профилей.

Каждый из кластеров мы постарались описать и понять, чем он принципиально отличается от остальных. В итоге обычно выделяется 2−5 ключевых дифференцирующих показателей, которые служат основой для сегментации и скоринга компании.

У нас получилось около десяти сегментов, каждый из которых мы проверили, целевой ли он. Также мы померили наш product-market fit в каждом сегменте. Подсчитать его довольно легко: мы разделили все компании сегмента по их активности. В нашем случае активность мерилась по количеству поездок в месяц. Если доля активных компаний в сегменте большая, значит product-market fit высокий — компании пользуются продуктом охотно и приносят деньги.

Возьмём первый тип сегмента с хорошим product-market fit. Скорее всего, это компании, которые довольны продуктом, приносят регулярный доход, жалуются редко или на какие-то мелочи. Это целевой сегмент.

Второй тип сегмента тоже целевой, но здесь показатель product-market fit хуже, чем в первом. Это значит, что в компаниях, которые сюда попадают, стоит разобраться. Например, у нас во второй сегмент попали мультинациональные компании, которые относительно часто ездят в аэропорт. Мы выяснили, что для этого типа поездок они чаще выбирали конкурентов, а мы теряли эту часть трафика.

Мы начали разбираться, в чём причина. Выяснилось, например, что иностранные гости получали смски на русском и не могли найти водителя. Чтобы решить эту и другие проблемы, мы сделали небольшую дорожную карту по основным пробелам в этой области, таким как уведомления на английском языке.

Также мы добавили отслеживание по номеру рейса, потому что рейсы часто отменяют или переносят, а водители долго ждут, и это ожидание оплачивает компания. Эти улучшения постепенно дают плоды и повышают показатель product-market fit.

Третий тип сегмента — это как раз «кричащие» компании, которые регулярно жалуются на отсутствие цены в приложении. Вклад этих ребят в пул обратной связи непропорционально большой, а product-market fit низкий.

Для обработки обратной связи и улучшения продукта мы выбрали такую схему. Каждый продакт-менеджер регулярно смотрит поток обратной связи и тегирует фичи или проблемные зоны, если пока не понятно, как мы их собираемся решать.

Это то, что мы делаем вручную, так как хотим тренировать эмпатию и нейронную сетку в своих головах для лучшего понимания пользователей. Далее нам приходит на помощь автоматизация.

Мы подтягиваем компанию жалующегося пользователя, сегмент этой компании, её активность и на основе этого присваиваем «вес» каждой единице фидбека. Этот вес играет роль голоса за фичу. Для малозначимых компаний вес меньше, для целевых — больше.

В результате из всех данных мы собираем рейтинг проблемных областей, которые попадают в топ отзывов у первого, второго или третьего типов сегмента. Далее в ход вступает приоритизация: мы решаем, какие улучшения делать в первую очередь и для каких сегментов. И затем либо уточняем потребности компании, оставившей фидбек, либо сразу запускаем доработку фичи, если уже есть хорошее понимание предметной области.

Благодарим за подготовку статьи редактора Елену Егину.