NPS умер. Да здравствует NPS! Как мы измеряем лояльность клиентов

Всем привет! Меня зовут Андрей, я — антрополог и CX-специалист. Работал в финтехе и консалтинге, а теперь занимаюсь исследованиями клиентского опыта в Garage Eight.

На одной из работ вместе с CPO мы задались целью придумать новую метрику для измерения удовлетворенности пользователей. Ею мы планировали заменить всем известный NPS. Но вышло так, что рождение новой метрики не привело нас к отказу от NPS. Это подтолкнуло меня начать дискуссию на VC и поделиться своим частично успешным опытом.

Net Promoter Score (индекс потребительской лояльности) придумал Фредерик Райхельд, известный бизнес-стратег. Он описал метрику для определения удовлетворенности клиентов в статье для Harvard Business Review в 2003.

NPS полюбили за простоту:

В одной финтех компании мы регулярно замеряли NPS и CSAT и обнаружили, что продуктовые команды обращают внимание только на ответы ко второму вопросу и практически не используют саму оценку NPS. Отсюда возникла идея создать альтернативную метрику, которую можно реально использовать на практике.

Для начала я решил разложить по полочкам, что хорошего и плохого есть в NPS. Вот, что у меня получилось.

Преимущества NPS

Хорошо подходит для бенчмаркинга. Все измеряют NPS, есть даже стандарты для различных индустрий, поэтому можно узнать среднюю температуру по больнице и сравнить себя с конкурентами.
Простая реализация. Всего два вопроса, простая формула для расчета результатов.
Всем известная метрика. Поскольку NPS измеряют все, легко доказать стейкхолдерам, что нам она тоже нужна.

В процессе размышления над достоинствами, мне пришло в голову, что:

Я не знал NPS наших непосредственных конкурентов.
Уровень шкал воспринимается покупателем по-своему. Сразу вспомнил, как в университете у нас был преподаватель, который считал, что никто из студентов в принципе не может получить больше 8 баллов по десятибалльной шкале.
Сервис может нравиться, но это не значит, что я его рекомендую всем. Например, мне очень нравится Miro, но я не помню, когда в последний раз рекомендовал его друзьям и знакомым.

Это привело к тому, что я сформулировал несколько ключевых недостатков индекса потребительской лояльности:

Недостатки NPS

Для бенчмаркинга нужно знать показатели конкурентов, а это не всегда возможно. В анализе конкурентов нельзя полагаться только на стандарты для индустрии, публикуемые в открытых источниках.
Люди по-разному воспринимают оценки по шкалам. Что хорошо для одних, не обязательно так же хорошо для других. Есть пресловутые культурные различия: например, клиенты из юго-восточной Азии обычно настроены позитивно и могут высоко оценить продукт, а более искушенные пользователи из Европы поставят ему низкие оценки.
Не у всех клиентов есть в окружении люди, которым можно рекомендовать продукт, особенно если это что-то из области B2B. Странно представить бухгалтера, который будет нахваливать 1С своим знакомым, не имеющим отношения к бухгалтерскому учету.
Не все люди любят что-то рекомендовать, даже если продукт им нравится. У нас есть множество тем для разговоров с окружающими, помимо обсуждения достоинств различных сервисов и интерфейсов.
Основной вопрос не учитывает личный опыт взаимодействия с продуктом. Клиенту предлагается оценить только готовность рекомендовать его другому человеку.
Метрика не отражает мнение всей аудитории. Обычно имеет смысл задавать вопрос клиентам, которые уже давно пользуются продуктом и успели его распробовать, а новички остаются за бортом.
Люди устают от одинаковых опросов. Именно из-за того, что все измеряют NPS, этот вариант опроса стал избитым. Я уверен, что вы сами отвечали на подобные вопросы уже тысячу раз.

На этом этапе мне захотелось найти какую-то менее банальную метрику, и я обратил внимание на product-market fit Шона Эллиса. Эллис помогает развивать стартапы, это он придумал подход growth hacking.

Хотя метод создан, чтобы определять степень соответствия продукта рыночному спросу, он подходит и для измерения лояльности клиентов.

Опросник Шона Эллиса тоже довольно прост.

Мне понравилась оригинальная формулировка первого вопроса, но это не единственное достоинство метрики.

Преимущества метрики Шона Эллиса

Спрашиваем напрямую о личном взаимодействии клиента с продуктом.
Узнаем ценность продукта для конкретного клиента и можем сравнить ее с той ценностью, которую хотели донести.
Узнаем о том, на какую целевую аудиторию обратить внимание и кому действительно интересен продукт напрямую от клиента.

Без недостатков, однако, тоже не обошлось.

Недостатки метрики Шона Эллиса

Проблемы с бенчмаркингом. В отличие от NPS, метрикой Эллиса пользуются немногие, поэтому для определения верного порога недостаточно данных. Сам Эллис считает, что хороший показатель — 40% «расстроенных» клиентов, но это не точно.
Не всегда уместная отсылка к эмоции. Разочарование может быть не самой удачной эмоцией для оценки лояльности клиентов, например, в контексте ухода многих компаний с российского рынка в 2022 году.
Много дополнительных открытых вопросов. Не все клиенты хотят писать развернутые ответы на целых три вопроса. На это нужно больше времени и сил, чем при выборе цифры, и это может уменьшить количество заполненных анкет.

Я решил адаптировать опросник Шона Эллиса, сократить количество открытых вопросов и убрать отсылку к разочарованию. Мне показалось, что готовность человека уйти от вас — более удачный критерий для оценки лояльности, и именно на этом я построил варианты ответов. Вот что у меня получилось.

Я был доволен своей задумкой:

К опроснику можно было добавлять вопросы для сегментации, например, соц-дем для понимания, каких групп больше среди лояльных и нелояльных клиентов.
Новая метрика понравилась продуктовым командам, и другие стейкхолдеры отнеслись к ней положительно. Но ровно до того момента, как я предложил целиком заменить этой метрикой NPS.

Продуктовые команды были готовы провести предложенный мной эксперимент, так как они все равно редко использовали оценку NPS. Остальные же стейкхолдеры решили, что NPS нужно оставить, а новый опрос можно запускать время от времени. Вся аргументация сводилась к тому, что «все измеряют NPS, и мы должны».

Новый опросник мы все-таки запустили. Смогли проверить свои гипотезы о том, как нас воспринимают клиенты, и получить полезные инсайты из дополнительных вопросов. Например, у компании не было масштабных данных о том, что пользователи особенно ценят нашу службу поддержки, а опрос помог выяснить, что это одно из главных преимуществ. Но попытка заменить NPS другой метрикой провалилась.

Этот опыт, пусть и не вполне удачный, заставил меня задуматься над вопросами, на которые у меня до сих пор нет ответа:

Можно ли отказаться от метрики, когда у нее есть очевидные недостатки, но многие компании продолжают ею пользоваться?

Что такого есть в метрике NPS, из-за чего мы упорно держимся за нее?

На мой взгляд, NPS часто используют неправильно. Эта метрика — про продукт в целом, а не про сайт, приложение или офлайн взаимодействие по отдельности. Она непригодна для оценки лояльности на монополистических рынках и для анализа юзабилити при разработке продукта. Если запускается новая фича, имеет смысл измерять, насколько она облегчает жизнь клиентам, и использовать, например, Customer Effort Score.

Возможно, было бы полезно проследить, как менялся NPS на исторических данных компании, и выяснить, почему показатели росли или падали. В моей практике не было реальных кейсов такого применения NPS, но это могло бы стать интересным полем для исследования.

По идее, более ценную информацию можно было бы получить из дополнительного вопроса NPS, но сама формулировка слишком расплывчата. Мы часто получали ответы, которые касались не самого финансового сервиса, а относились, например, к деятельности регулятора. Мне кажется, конкретный вопрос о ценности продукта дает более релевантную выборку ответов.

Поскольку я продолжаю исследования в данном направлении, мне было бы очень интересно узнать, как вы измеряете лояльность. Если используете NPS, то почему? Если нет, то по каким причинам вы отказались от этой метрики? Буду рад, если вы поделитесь своим опытом в комментариях.