Что не так с NPS и как правильно работать с этой метрикой?

Уже без малого 20 лет NPS является одним из основополагающих бизнес‑показателей и, пожалуй, самой популярной CX‑метрикой во всем мире. Есть компании, которые выбирают именно NPS своей Northstar‑метрикой. Однако действительно ли так важен этот показатель? И стоит ли уделять ему такое внимание?

Моё мнение – нет. Но сразу скажу, что я не призываю отказаться от контроля NPS, но я попробую объяснить, почему не нужно рассматривать метрику как нечто сокровенное, чрезвычайно важное и почему не надо сильно ориентироваться на неё при работе над вашим продуктом. Можете уже открывать форточку, будет душно.

Привет. Меня зовут Олег, я CPO в сервисе сквозной аналитики CallTracking.ru, автор телеграм-канала "Душный продакт", в котором я рассказываю про различные кейсы из профессиональной жизни и делюсь опытом.

Немного истории и фактов.

В декабре 2003 года в Harvard Business Review была опубликована статья The One Number You Need to Grow, в которой была описана история компании Enterprise Rent-A-Car, которая вместо проведения сложных опросов замеряла лояльность клиентов через всего два простых вопроса – о качестве опыта и о вероятности повторного обращения. Этот процесс был очень быстрым и позволял быстро реагировать на изменения, отстающим филиалам перенимать лучший опыт лидеров и так далее. При этом компания ориентировалась именно на количество сторонников с наивысшими оценками, а не на средний или медианный балл.

Метод быстро набрал популярность, но немного преобразился – в дальнейшем эти два вопроса были заменены одним, теперь уже всем нам известным “С какой вероятностью вы порекомендуете…”. Это казалось тогда невероятным прорывом, но так ли это на самом деле?

За прошедшие годы большинство недостатков NPS давно выявлены, озвучены, изучены. Давайте разберем самые часто упоминаемые и попробуем с ними разобраться.

1. Нет каких-либо норм для NPS.

Какой NPS считать хорошим? А какой плохим? Его нужно поддерживать на высоком уровне или достаточно чтобы он был положительный? Ни на один из этих вопросов нельзя ответить однозначно.

Кажется, что самый простой ответ - NPS должен быть как минимум положительным. Но есть целые отрасли, где отрицательный NPS – это норма. Есть очень успешные компании с отрицательным NPS. Чаще всего это компании связанные с банковским сервисом или со страхованием. Есть и обратные примеры, когда у компании очень высокий уровень лояльности по NPS, но компания сама по себе убыточна.

2. На оценку влияет слишком много разных факторов.

Объективность оценки в конкретный момент времени под большим вопросом. Во время опроса пользователь может быть в плохом настроении. Пользователь заболел или, например, с похмелья. Он может быть сильно разочарован другим продуктом. Но низкую оценку поставит именно вам. И вы никак не можете на это повлиять.

Кроме того, люди могут массово поставить негативную оценку даже из-за небольшого, но явного недостатка вашего продукта. В моей практике был случай, когда часть пользователей не могли закрыть окно сбора NPS без установленной оценки. Это был именно баг, а не фича. Но раздражение заставляло людей ставить или произвольную оценку или негативную. В итоге NPS упал более чем на 20% по сравнению с предыдущим замером. А после исправления ошибки восстановился. Но выявить ошибку сразу не получилось, было затрачено немало усилий на поиск причин снижения оценки.

Кроме того, на оценку влияют личностные отношения пользователей с сотрудниками компании. Нерадивый менеджер хамил клиентам, продукт получал негативные оценки. Хотя это была оценка скорее работы менеджера, чем продукта. Кстати, это работает и в обратную сторону - когда клиенты ставят оценки вашим сотрудникам, ведь клиенты оценивают часто свой опыт а не работу конкретного человека.

3. Оценки ответивших пользователей не отражают лояльность всех пользователей

Если вы работали с отзывами пользователей, то знаете, что люди с большей охотой оставляют именно негативные отзывы. Вы даже можете это заметить по себе. Ведь вы скорее всего не пойдёте писать о том, как замечательно работает какой-либо продукт. А вот если что-то пойдёт не так, то клиент может не только сообщить компании о своём недовольстве, но и разместить гневный отзыв везде, где только возможно.

По моим оценкам, не больше 10% пользователей поставит какую-либо оценку. Еще меньшее число будет её актуализировать. По сему возникает вопрос – а точно ли оценки 10% клиентов отражают лояльность всех? Куда относить “молчунов”, то есть тех, кто оценку не поставил? Считаются они лояльными или нет?

Тут напрашивается комментарий, что когда оценок много, то в среднем они более-менее отражают реальную картину. Частично да, но не до конца. А еще не стоит забывать про B2B сегмент, где много оценок скорее всего не будет, а причины негатива могут быть очень индивидуальными.

4. Метрика никак не отвечает на вопросы “Что не так?” и “Что делать?”

Что именно заставляет пользователей быть лояльными? Что больше всего их раздражает? Что вызывает восторг, а что отторжение? И как менять ситуацию к лучшему? Контроль NPS практически никак не отвечает на эти вопросы.

Даже если вы будете собирать с клиентов дополнительные комментарии к оценкам, то вы не получите реальную картину. Во-первых, у разных клиентов могут быть очень разные причины быть недовольным. Во вторых, комментарий оставляет очень малая часть пользователей. Получается, что обработка и систематизация данных может занять много времени, а размер выборки негативно повлияет на результаты работы.

Если вы основываете свой бэклог на таких отзывах, то будьте осторожны. Они могут вас направить в неверном направлении, так как вы будете исправлять ошибки для малого числа пользователей. И это вместо того, чтобы масштабировать то, что позволяет вам привлекать новых удерживать действующих клиентов.

5. Оценка, поставленная клиентом, не соответствуют его реальному уровню лояльности

Уже много лет идёт разговор о том, что метрика, которая была придумана для оценки лояльности клиентов, совершенно не показывает реальную лояльность. Еще в 2007 году было проведено большое исследование среди 16 000 респондентов, которое показало, что только 50% из тех, кто выразил желание рекомендовать продукт, на самом деле сделали это.

Было ещё другое исследование, которое проведено в 2018 году среди 2000 потребителей в США. Людям задавали два вопроса – “Рекомендовали ли вы этот продукт?” и “Отговаривали ли вы от выбора этого продукта?”. И открылся удивительный факт – более 50% людей, которые отговаривали от покупки товара, его же и рекомендовали.

То есть получается, что делить людей на Промоутеров и Критиков только по оценке – категорически не правильно. Пользователь – он что тот кот Шредингера, является и критиком и промоутером одновременно. И только наблюдение, то есть определенный вопрос в определенное время, определяют его состояние.

6. У метрики NPS нет достойной альтернативы

А вот это самое грустное. Альтернативное решение – проводить более глубокие опросы. Но тогда будет меньше оценок. Пользователи и на один вопрос отвечают не очень охотно, а на 5 или 10 будут отвечать ещё реже. То есть вы получите повышение точности данных одновременно со снижением их общего количества.

Самый действенный способ получить достоверную информацию – глубинные интервью. Но вы никогда не сможете лично поговорить с нужным количеством клиентов, чтобы понять даже примерно среднее настроение.

Сейчас стало модным задавать пользователям вопрос, как они будут себя чувствовать, если больше не смогут пользоваться вашим продуктом и фокусироваться на самых лояльных, то есть тех, кто будет сильно разочарован. Но изменение вопроса не отменяет ни одного из недостатка NPS, которые описаны выше.

Так что же делать?

Продолжать собирать данные, но учитывая всё вышеперечисленное. Нужно понимать, что NPS – метрика, которая приблизительно и очень-очень усредненно показывает лояльность ваших клиентов.

Следите за динамикой метрики. Скорее всего именно динамика будет отражать более-менее реальную картину. Но помните, что могут быть случайные причины резкого роста или снижения NPS.

Собирайте вместе с NPS как можно больше данных, чтобы можно анализировать результаты в разрезе разных когорт и сегментов клиентов, разных продуктов и даже разных менеджеров внутри вашей компании. Контроль NPS в изоляции от других данных - непростительная ошибка. Например, очень полезно учитывать:

· Когорты. Сравнивайте оценки пользователей, которые начали пользоваться продуктом в разное время, а также как меняется их оценка со временем. Динамика точнее показывает, в правильном ли направлении вы движетесь.

· Использование функций продукта. Пользователи разных частей вашего продукта могут по-разному относиться к вашей компании. Такой контроль позволяет выявлять наиболее разочаровывающие точки.

· Вовлеченность пользователей. Если у вас есть контроль каки-либо Engagement-метрик (а он должен быть), то анализируйте, какая взаимосвязь может быть между показателями.

· Кто работает с клиентом. Это особенно важно для B2B. Да, от менеджера, который непосредственно взаимодействует с клиентом зависит очень многое. И иногда можно заметить, что самые высокие или самые низкие оценки ставят клиенты определенных ваших коллег. Выявление таких тенденций позволит найти точки роста для всех менеджеров или исправить ситуацию у конкретных.

Это лишь примеры, часть данных, которые можно и нужно учитывать. Крайне важно изучать, как разные данные влияют на NPS. И не менее важно изучать, как NPS влияет на другие данные.

Старайтесь собирать расширенную обратную связь с клиентов. При этом со всем, а не только с критиков или промоутеров. Ведь важно знать свои и сильные и слабые стороны. Кроме того мы теперь знаем, что деление на эти группы может оказаться очень условным. Совмещайте NPS с другими опросами CSI, это позволит глубже понимать проблемы клиентов.

И самое главное. Не используйте эту метрику как основную, не ставьте её в важные плановые показатели. Иначе это может даже привести к фроду внутри команд, когда они будут улучшать NPS в ущерб других показателей. Ведь талантливые люди могут привести любые цифры к нужным показателям.