Почему я не фанат NPS

NPS (Net Promoter Score) – очень популярная метрика. Я знаю много людей из мира CX, которые от нее без ума и используют ее постоянно. Для них это золотой стандарт... Но этому стандарту я не доверяю.

В этой статье мы разберем одну из важных причин популярности NPS, а также 11 подводных камней, о которых стоит помнить, если уж вы используете эту метрику.

Не забудьте подписаться на канал в Telegram и поделиться этим постом с коллегами, которые проповедуют ценность и важность NPS в вашей компании.

Почему NPS так популярен?

Сложно не согласиться с тем, что NPS популярнен. Наверное, ни одна конференция по CX не обходится без упоминания о нем, многие компании используют его в своей отчетности и сравнивают себя по NPS с конкурентами – «ведь NPS такой всеобъемлющий».

Но давайте немного более пристально разберем причины такой популярности NPS. Может, это действительно идеальная метрика, которая поменяла к лучшему весь мир, и читать эту статью в принципе не стоит?

Да, в основе NPS лежит простой вопрос. Да, его достаточно легко рассчитать. Да, это стандарт. Но кто придал этой метрике статус стандарта?

NPS был разработан Фредом Райхельдом, сотрудником Bain & Company. Для тех, кто не знает: это глобальная консалтинговая компания, входящая в большую тройку консалтинга наряду с McKinsey и Boston Consulting Group.

Все 3 компании известны тем, что разрабатывают свои фрэймворки решения тех или иных проблем, затем массированно их продвигают. И после того, как фрэймворки набирают популярность, компании продают заказчикам проекты по их внедрению.

И NPS здесь – не исключение. По сути это продукт компании, который был успешно прорекламирован и теперь приносит ей деньги. В Bain & Company даже была сформирована целая глобальная практика по этой теме – Net Promoter System.

Таким образом, можно предположить – чисто гипотетически – что такая высокая популярность метрики, помимо прочих факторов, может подкрепляться и бизнес-интересами определенных стейкхолдеров.

Подводные камни NPS

А теперь разберем подводные камни, о которых как минимум стоит помнить, даже если вы являетесь фанатом NPS и активно его используете.

1. Ответ vs. действие

Еще Роб Фитцпатрик в своей знаменитой книге писал о том, что если клиент говорит вам, что купил бы ваш товар, это не значит, что он реально его купит.

Золотые слова, которые применимы и к NPS: готовность порекомендовать вас в опросе далеко не значит, что клиент не забудет это сделать в будущем.

Таким образом, получаем первый подводный камень. Использовать NPS, как предиктор, будущих действий клиента – зачастую рисковая затея.

2. Легкость восприятия шкалы

В предыдущей статье про когнитивные искажения я уже упоминал о законе Хика (параличе анализа). Чем больше вариантов, тем труднее клиенту сделать выбор. Выбор по шкале из 11 значений сложнее, чем, например, по знакомой для многих 5-балльной.

А то, что шкала начинается с 0 и состоит из 11 значений может вызвать дополнительные вопросы и еще больше усугубить ситуацию.

3. NPS vs. ответы со смартфона

Не стоит забывать, что сам процесс оценки – это тоже часть клиентского пути. И этот процесс может быть как удобным, так и не очень.

Из года в год % использования мобильных устройств растет. Мы все чаще заходим на сайты со смартфона, читаем почту... и в том числе проходим опросы NPS.

Проблема NPS заключается в том, что, в соответствии с гайдлайнами, оценки должны быть расположены в 1 ряд слева направо.

Размещая в email с NPS 11 оценок в 1 ряд, вы повышаете шансы на ошибку: они будут прилипать друг к другу, а клиент рискует промазать, отвечая со смартфона.

Почему я не фанат NPS

4. Понимание влияния оценки

Кто кроме автора и PR-агентов NPS сказал, что если я в опросе поставил 8 из 10, я – не лояльная аудитория и никому вас не порекомендую (и меня нужно убрать из расчетов, как «нейтрала»)?

Насколько клиенту понятно, к чему приведет оценка 7, а не 6 на шкале из 11 значений? А ведь от этого впоследствии будут зависеть чьи-то бонусы…

5. Привязка к KPI сотрудников

…Но с бонусами у нас все будет хорошо. Во многих компаниях стало модно включать NPS в KPI сотрудников всех уровней – вплоть до топов. Но NPS – это показатель, которым можно достаточно легко манипулировать.

«А кому мы рассылаем опрос NPS? Давайте разошлем его сегменту тех, кто оценил сервис на 5/5 во время опроса CSAT… А недовольных-то зачем трогать? Мы же и так знаем, что они недовольны». Ну разве не жизненно?

6. Рекомендация vs. retention

NPS часто переводится, как индекс потребительской лояльности. Но именно готовность порекомендовать вас кому-то в принципе не может гарантировать, что клиент продлит свою подписку в следующем месяце.

Пример из жизни: я закупил сервис для проведения опросов. В NPS ставлю 10/10: сервис хороший. Но сервис требовался мне лишь для 1 опроса: я уже решил свою задачу, и он мне больше не нужен.

Если смотреть лишь по NPS, мой уход станет для компании досадной неожиданностью. А вот контроль уровня использования продукта (usage) мог бы стать ранним сигналом того, что «Хьюстон, у нас проблемы».

7. Сравнение с конкурентами

Часто слышу фразы a-la: «у нашей компании NPS такой-то, а у конкурентов – такой-то». Фразы эти, разумеется, подкрепляют какие-то доводы и красуются на слайдах годовых отчетов, на конференциях и так далее.

Но разве конкуренты докладывают нам (а мы – им), как формировалась выборка респондентов, каков был ее объем? Без этих данных мы просто будем сравнивать яблоки с апельсинами, хоть и будем считать, что сравниваем одно и то же – фрукты.

8. Индикация улучшений

Представим ситуацию: предыдущий менеджмент вел дела настолько плохо, что почти все клиенты поставили компании в 0 или 1 из 10. NPS был рассчитан, как -100.

Почему я не фанат NPS

Придя в компанию, вы значительно улучшили клиентский опыт. По итогам года клиенты уже оценили готовность рекомендовать компанию в основном уже на 5 или 6 из 10.

Почему я не фанат NPS

Вы уже готовитесь к похвале, но CEO попросил повторно замерить NPS. Каким будет эффект на метрику от ваших действий? Да никаким. NPS вообще не изменится.

В примере описана крайность, но думаю, логика понятна: даже сильные позитивные изменения в распределении оценок внутри подгрупп могут не отражаться в индексе.

9. Оповещение о росте риска

Аналогично, смотря лишь на верхнеуровневый показатель, вы просто не заметите, как распределение оценок смещается в худшую сторону внутри групп промоутеров, нейтралов и детракторов.

Почему я не фанат NPS

Особенно рисково это будет в случае с детракторами, т.к. разброс оценок в этой группе – целых 7 значений.

Почему я не фанат NPS

NPS может создать иллюзию, что все стабильно. Но есть риск стать лягушкой в кастрюле, которая не замечает, что вода медленно нагревается.

10. Отслеживание динамики NPS

Топ-менеджмент любит графики с динамикой NPS (особенно с позитивной). Но на основе каких данных эта динамика строится?

Если она строилась бы на ответах одних и тех же респондентов, которые из квартала в квартал давали бы вам обратную связь, этому еще можно было бы поверить.

Но реальность такова, что каждый раз с высокой долей вероятности вы собираете ответы с разного состава респондентов. На опрос отвечают разные люди.

Поэтому факт, что такие «тренды» отражают фактические изменения в готовности клиента рекомендовать вас, можно поставить под вопрос.

11. NPS vs. будущий рост компании

В некоторых компаниях NPS считается прокси-значением финансовых показателей: берутся исторические данные, в ход идет базовая статистика... В итоге рождается гордая фраза «прирост 1% пункта NPS дает нам +Х млрд к выручке».

Но корреляция метрик не должна вводить в заблуждение о том, что повышение NPS обязательно приведет к будущему – уже посчитанному – росту прибыли или выручки. Есть тысяча и один фактор помимо NPS, который на этот рост может повлиять.

To be continued...

Как видим, NPS не так безопасен, как кажется на первый взгляд, и у него есть подводные камни, которые могут сделать «пробоину в вашем судне».

Если вы используете NPS в своей компании, как минимум у вас должно быть решение тех моментов, которые были подсвечены в этой статье.

Возможно, с чем-то не согласны? Или есть чем дополнить мой список? Буду рад пообщаться в комментариях.

Не забудьте подписаться на канал в Telegram и поделиться этим постом с коллегами. Будем на связи.

22
2 комментария

TL;DR
Во-первых, я настоятельно рекомендую прочитать книгу Reichheld’а «The Loyalty Effect». По крайней мере, там есть ответы на многие заданные тобой вопросы: декларация «likely … to recommend» с большей вероятностью говорит о повторной покупке в будущем, чем декларация «likely … to purchase» (пункт 1) [к сожалению, пока нет других годных способов прогнозирования поведения потребителей, кроме самодеклараций, но важно, что аналитики и менеджеры учитывают «правдивость» и вероятность исполнения деклараций; обоснование выбора шкалы — 5, 7, 9, 10 или 11 (п. 2, кстати, это не вопрос удобства для респондента); почему только оценки 9 и 10 являются «Промоутерами», а 7 и 8 — «Нейтралами» (п. 6) и многие другие важные методологические замечания.
В конце 90-х и нулевые повторить исследования Reichheld’а и Bain было практически невозможно — очень дорого для отдельной компании. Сейчас (если ты измеряешь NPS) у тебя нет никаких проблем повторить все необходимые этапы: сравнить намерение купить и вероятность рекомендовать, 5-бальную и 11-бальную шкалу, отказаться от указания промежуточных значений, проверить вероятности повторных покупок «нейтралами» и «промоутерами». При чем теперь это можно делать постоянно, всегда имея контрольную группу.
Во-вторых, очень важно — все фальсификации и кривые измерения не делают NPS плохим: нельзя полагаться на измерения конкурентов, если не имеешь доступа к методам (п. 7); нельзя квотировать выборку или исключать недовольных (п. 5); нельзя мерить одних и тех же респондентов (п. 10), ну, т. е. можно, но не в случае с NPS, у тебя есть совокупность — покупатели в периоде и критерии выборки, а она случайная и всё, с этим и работаешь, а изменение оценки отдельного респондента можешь измерять сколько угодно, но это не NPS. :)
В-третьих, «KPI сотрудников». По-моему, у меня 3 года NPS был основным показателем годового бонуса — 40% годового бонуса или 16% годового дохода 27 человек в подразделении. Мне д. б. повезло, т. к. меня особо никто не спрашивал и NPS нам навязали немецкие акционеры, хотя я пытался сопротивляться и писал записки, почему нам эта штука не нужна.:) Акционеры нас не спросили и вообще сами заказали отраслевое исследование, которое показало наш NPS против конкурентов и среднеотраслевой NPS. Генеральный мне установил целевое значение «рост на 10% к предыдущему году». Зная критерии формирования выборки я научился справляться с подобными значениями и да, прирост «шестерок» и снижение «пятерок» меня не интересовали.
И последнее, «почему NPS так популярен?» Ответ прост: CEO не очень интересуют твои танцы с бубнами (прирост «шестерок»), ей/ему «продали» идею, что рост доли желающих рекомендовать приведет к росту повторных сделок и снижению цены привлечения. И всё это можно отслеживать одной цифрой.:) В свою очередь ты можешь измерить степень влияния NPS на выручку и расходы на привлечения для вашего продукта/бренда. Но предполагаю, что это будет объяснять процентов 40 изменения выручки (у расходов больше:).

2

Привет, спасибо большое за развернутый комментарий! Да, соглашусь, что кривые измерения не делают NPS плохим, больше хотелось подсветить именно не недостатки, а потенциальные ямы, в которые можно угодить при использовании NPS. И что их стоит учитывать и контролировать, чтобы на NPS можно было полагаться.