Вся правда про NPS, о которой вы боялись спросить или подумать

Привет. Недавно прочитал крутую статью про NPS и решил что обязательно опубликую её перевод здесь. Надеюсь, что вы, как и я, измените свое отношение к этому конкретному показателю и в целом будете более глубоко подходить к изучению любых других "фреймворков".

В 2003 году консультант по маркетингу по имени Фред Рейхельд зажёг весь деловой мир статьей в Harvard Business Review «Одно число, которое вам нужно для роста» . Он утверждал, что, задав один-единственный вопрос — вопрос, направленный на определение лояльности клиентов организации, — руководство может определить пульс чувств своих клиентов по отношению к их бизнесу. Он закончил статью словами: «Это число — единственное число, которое вам нужно вырастить. Это так просто и так глубоко».

Оказывается, это не просто и не глубоко. Это не помогает бизнесу расти. Это даже не говорит руководству, насколько лояльным является клиент.

Тем не менее, Net Promoter Score (также известный как NPS) отвечает всем общим требованиям «полезной» бизнес-метрики:

Несмотря на то, что NPS был полностью опровергнут во многих умных исследованиях , он по-прежнему прочно укоренился во многих компаниях. Мы слышим о компаниях, внедряющих новые программы измерения NPS каждый день (прим. переводчика: статья 2017 года, не знаю как на западе, но у нас видим и слышим это и в 2022 году).

Лидеры отрасли продолжают восхвалять NPS. Например, Стивен Беннетт, когда он был генеральным директором Intuit: «Каждое направление бизнеса теперь рассматривает [NPS] как часть своего стратегического плана; это компонент каждого операционного бюджета; это часть бонуса каждого руководителя. Мы рассказываем о прогрессе в Net Promoter при каждом ежемесячном обзоре операционной деятельности».

Такие компании, как Intuit, основывают свои важные решения на этом показателе, но этот показатель не измеряет то, что они думают. На самом деле NPS ничего конкретно не измеряет. Давайте посмотрим, как он работает, чтобы увидеть, насколько на самом деле бесполезен NPS.

Одна из самых сумасшедших вещей в Net Promoter Score — это то, как он рассчитывается. Исходные данные поступают из простого опроса. Респондентам задают один вопрос: какова вероятность того, что вы порекомендуете [КОМПАНИЮ] другу или коллеге?
По одиннадцатибалльной шкале, где ноль отмечен как «совсем маловероятно», а 10 — как «чрезвычайно вероятно», респонденты выбирают число. (В более поздних версиях опроса Фред Райхельд предложил людям задать последующий вопрос о том, почему они поставили ему такой балл. Мы ответим на второй вопрос чуть позже.)

Любой нормальный статистик просто сообщил бы среднее значение всех баллов, полученных от респондентов. По причинам, которые так и не были полностью объяснены, NPS не нравится среднее значение получаемых ими чисел. Вместо этого они делят баллы на три компонента:

Любые 9 или 10 считаются промоутерами. Любые семерки или восьмерки считаются пассивными респондентами. А любая оценка от 6 до 0 считается недоброжелателем.

Формула для расчета балла:

Net Promoter Score = % респондентов-промоутеров минус % респондентов-критиков

Допустим, у нас есть 10 оценок респондентов. Данные равны 0, 0, 1, 4, 5, 6, 7, 8, 9 и 10.Среднее значение этих 10 чисел равно 5. Мы рассчитываем Net Promoter Score как 20% минус 60% или -40.

В среднем 5 не звучит ни хорошо, ни плохо. Это нейтрально. Однако -40 звучит ужасно. (Не так ужасно, как -100, но все же довольно плохо.)

Это потому, что идея NPS заключается в том, что тот, кто дает нейтральную оценку, не собирается говорить хорошие вещи о компании, как это сделал бы промоутер. Они не будут лояльны компании. Нам нужно превратить их в промоутеров. Поэтому мы считаем их недоброжелателями.

Допустим, у нас плохой день, и 10 респондентов дают нам все нули: 0, 0, 0, 0, 0, 0, 0, 0, 0 и 0. Среднее из этих десяти чисел равно 0 (Имеет смысл). NPS равен -100. Это самое худшее, что может быть.

Это имеет смысл. Нули - неприятные оценки. Давайте не будем вознаграждать отвратительные баллы.

Теперь, скажем, команда работает очень усердно. Они делают продукт намного лучше.

После всей этой кропотливой работы мы получаем все шестерки: 6, 6, 6, 6, 6, 6, 6, 6, 6 и 6.Среднее значение этих десяти чисел равно 6.
Но NPS все равно -100.

По какой-то причине NPS считает, что 6 должно равняться 0. Никто так не думает. Помните, если бы вы работали в такой компании, как Intuit, вся эта тяжелая работа, направленная на то, чтобы заставить всех перейти от 0 к 6, не была бы вознаграждена. Ваш руководитель не получит свой бонус. Как будто ты ничего не делал.

Конечно, это потому, что вы заставили всех выбрать шестерку. Что, если бы вы сделали продукт настолько лучше, что каждый из них мог бы поставить восьмерку? 8, 8, 8, 8, 8, 8, 8, 8, 8 и 8.В среднем 8. Тем не менее, NPS сейчас… 0.

Перемещение всех ваших пользователей с нулей на восьмерки было бы большим достижением в любой нормальной организации. Но если вашу организацию не впечатлил нулевой показатель NPS, бонусов для вас не будет.

Сделайте этот набор данных состоящим из всех девяток: 9, 9, 9, 9, 9, 9, 9, 9, 9 и 9.Среднее значение равно 9. И чудесным образом NPS равен 100!

Это 100% улучшение по сравнению с 8, так что ура! Вы, наконец, получите свой бонус. Немного подтолкнув эти данные, вы изменили показатель NPS с середины шкалы на максимально возможный показатель. Разве вы не гений?

Как видите, расчет NPS не имеет большого смысла. Для этих неуклюжих, резких изменений нет никакой деловой или математической причины.

Небольшие дополнительные улучшения должны приводить к небольшому увеличению количества баллов. Только большие улучшения должны приводить к значительным изменениям в баллах. Тем не менее, по причинам, которые никто не может объяснить, NPS так не работает.

Это то, что Кейт Раттер называет "Театром Аналитики". Создавать резкие колебания цифр ради драмы, а не потому, что они помогают нам делать наши продукты или услуги лучше.

Среднее значение дает гораздо лучшее представление о том, что происходит с числами. Это так же просто и показывает важные улучшения.

Если бы единственная проблема с NPS заключалась в том, как мы его рассчитывали, то мы могли бы просто переключиться на использование среднего значения. Тем не менее, средние значения работают только тогда, когда данные имеют смысл. К сожалению, то, как респонденты интерпретируют вопрос NPS, создает набор данных, который не имеет смысла.

Что бы вы ответили, если бы я задал вам такой вопрос, как «Вы находите эту статью интересной?» и дал вам выбор Да, Нет и Не уверен . Один из этих трех ответов, вероятно, будет легко выбрать.

Это 3-бальная шкала. Если я повышу его до 5-балльной шкалы, вам будет сложнее ответить: очень интересно, немного интересно, не уверен, немного не интересно, очень не интересно. В конце концов, что значит «слегка не интересно»? Означает ли это, что вы немного заинтересованы, но недостаточно заинтересованы, чтобы продолжать читать?

7-балльная шкала делает это еще сложнее. Когда у нас заканчиваются ярлыки, мы прибегаем к цифрам: очень интересно, 6, 5, не уверен, 3, 2, очень неинтересно.

На это трудно не только ответить, но и интерпретировать. В чем разница между 3 и 2? Оба находятся на отрицательной шкале, но означают ли они разные вещи? Способны ли респонденты быть последовательными не только в разное время, когда каждый из них отвечает на вопрос, но и с другими респондентами?

NPS использует 11-балльную шкалу. Это большая шкала с большим количеством цифр, где различие не ясно. У нас с вами может быть один и тот же опыт, но я бы поставил ему 7, а вы — 6. Есть ли существенная разница?

Мы каким-то образом должны понимать разницу между 6 и 7. Но многие респонденты этого не понимают. Они просто делают выбор по своей прихоти.

В NPS набор данных, полный только шестерок, оценивается как -100, а набор данных, полный только семерок, оценивается как 0. Для NPS это очень большое различие, но для респондента это просто шум. Респонденты не могут сказать вам, почему они предпочли бы одно другому.

При внедрении NPS мы спрашиваем каждого респондента, "Какова вероятность того, что вы порекомендуете [КОМПАНИЮ] другу или коллеге?" На первый взгляд кажется, что этот вопрос касается лояльности клиентов. В оригинальной статье HBR автор утверждал, что это сильно коррелирует с повторными покупками и рефералами.

Более поздние исследования показывают, что это не так. И вот почему:

Лучшие исследовательские вопросы касаются поведения в прошлом, а не поведения в будущем. Вопрос к участнику исследования "Стараетесь ли вы вести здоровый образ жизни?" или "Вы собираетесь отказаться от сахара?" или "Вы купите этот продукт?" требует, чтобы они предсказывали свое будущее поведение. Нас же больше интересует то, что они сделали, чем то, что они сделают. Нас интересует фактическое поведение, а не прогноз поведения.

Вот пример. Благодаря Дэну Баркеру, британскому консультанту по аналитике и энтузиасту NPS, у нас теперь есть 16-месячный фрагмент данных NPS от одного клиента электронной коммерции.

Как вы можете видеть, 9 точек данных NPS Дэна варьируются от 5 до 10. Эти данные не говорят нам о том, делал ли респондент когда-либо то, что мы у него спрашивали. То есть мы не знаем, рекомендовали ли они компанию другу или коллеге.

Из данных о покупках Дэна мы видим, что его покупатель потратил больше всего денег (110 долларов США), когда он ответил 8. Он оценил свою наименьшую потраченную сумму (57,60 долларов США) как 9. Стоимость заказа, когда выбрал 5, была всего на 3,00 доллара меньше, чем там, где оценка 10. Из этих данных мы видим, что корреляции между покупательским поведением и оценкой NPS нет. И нет никаких доказательств лояльности.

Лояльность — это долгая игра. Речь идет о том, как кто-то ведет себя в течение длительного периода времени. В своей оригинальной статье для HBR Фред Райхельд сказал: «Лояльность — это готовность кого-то — клиента, сотрудника, друга — сделать инвестиции или пожертвовать собой, чтобы укрепить отношения».

Тем не менее, вопрос NPS не говорит об инвестициях или личных жертвах. О лояльности даже речи не идет. Он только спрашивает о рекомендации компании.

Спрашивать кого-то о том, что они будут делать в будущем, не означает лояльность. Это про оптимизм.

Если бы нас действительно интересовало понимание чьей-либо лояльности, мы могли бы задать другой вопрос: "за последние 6 недель вы рекомендовали нас другу или коллеге?" Фактически, это именно тот вопрос, который Netflix задавал своим клиентам в первые годы своего существования. Netflix соединил это с другим важным вопросом. Всех новых подписчиков спрашивали , вас к нам порекомендовал друг или коллега?

Netflix наблюдал устойчивый рост числа новых подписчиков, когда люди отвечали «да» на эти вопросы. И когда люди перестали говорить «да», они увидели, что количество отмен увеличилось, а количество подписок новых подписчиков замедлилось. Эти вопросы были напрямую связаны с ростом Netflix. Эти вопросы касаются фактического поведения в прошлом, а не какого-то предсказания поведения в будущем.

Когда я пишу это, на веб-сайте United Airline написано, что за свою жизнь я пролетел с ними 891 116 миль. В этом году я пролетел 73 890 миль за 49 рейсов. Одни только эти данные могут сделать меня постоянным клиентом.

Если вы будете следить за мной в Твиттере, вы увидите, что я регулярно жалуюсь на плохое обслуживание клиентов «Юнайтед». Если бы United попросили меня оценить обслуживание данного рейса по шкале от нуля до десяти, я бы редко ставил выше пяти. (Пять — это дни, когда никого не бьют.)

Являюсь ли я постоянным клиентом United? Если бы мне пришлось честно ответить либо на вопрос NPS (будущее поведение), либо на вопрос Netflix (прошлое поведение), я бы оценил United довольно высоко.

Удивительно, но я все время рекомендую «Юнайтед». За пределами Бостона они действительно лучший выбор для полетов в пункты назначения на Западном побережье. У них сносный международный сервис.

Но «лучший выбор» — это не то же самое, что «восхитительное обслуживание». Они лучшие среди худших вариантов. Я рекомендую их не потому, что они мне нравятся, а потому, что другие варианты мне не нравятся больше.

Друг, зная, что я работаю над этой статьей, прислал мне этот вопрос NPS, который они получили после использования сайта онлайн-банкинга Citi.

Мой друг вошел в свою учетную запись Citi, чтобы перевести деньги. Сделка, совершенная 5 дней назад, ничем не примечательна. Зачем кому-то рекомендовать Citi в качестве банка из-за ничем не примечательной деловой операции. (Обычные банковские транзакции всегда должны быть ничем не примечательны. Если они выделяются, это, вероятно, означает, что что-то пошло не так.)

NPS не был разработан для такой детализации отражения опыта пользователя. Они могли бы совершить еще 4 транзакции после той, о которой спрашивали здесь. Зачем им помнить подробности любой из них, если все прошло хорошо?

Достаточно того, что мы пытаемся использовать NPS для того, для чего он был разработан. Когда компании пытаются использовать его таким образом, у них возникают серьезные проблемы. Ответы ничего не значат.

Уже много лет мы включаем вопрос NPS в наши качественные исследования, прося участников объяснить, почему они выставили оценки. Наш главный вывод: люди не понимают вопроса.

Типичный участник, получивший низкую оценку, мог получить безупречный опыт работы с продуктом или услугой в нашей лаборатории. Когда мы спрашиваем, почему они поставили низкую оценку, они рассказывают какую-то историю о печальном опыте, произошедшем с ними в прошлом, который помешал им рекомендовать эту услугу. Когда мы спросили их, пользовались ли они продуктами или услугами компании с тех пор, они ответили, что делали это много раз.

Точно так же мы увидим, как участник оценивает 10 после того, как он действительно боролся с продуктом или услугой. Они скажут: «Это было лучше, чем я ожидал» или «Я думал, что все в порядке». Когда мы спрашиваем, воспользуются ли они этим продуктом или услугой снова, они отвечают: «Вероятно, нет».

Мы видели, как многие участники поставили 0, потому что они не могли придумать, кому бы дать рекомендацию. Другие поставили 10 баллов, потому что у них были друзья, работавшие в компании. Когда компания предлагает поощрение за ответ, скажем, шанс выиграть подарочный сертификат Amazon на 100 долларов, мы видели, как участники ставили высокие баллы, потому что «они никогда не отдадут приз тому, кто поставил им ноль».

Мы узнали, что NPS ничего не говорит нам об опыте клиентов или их лояльности. На самом деле, мы не можем доверять NPS, чтобы сообщить нам что-нибудь полезное.

Если ваш бонус связан с повышением рейтинга NPS, поощрение в размере 100 долларов – отличный способ повысить свои баллы. Это не единственный способ играть с NPS.

Улучшите свои результаты, задав вопрос позднее во флоу пользователя. Идеальный игровой прием — задать вопрос после успешного выполнения задачи, например покупки.

Спрашивая после завершения задачи, вы задаете вопрос только тем людям, которые добились успеха. Вы удаляете ответы от всех, кто отказался от процесса из-за разочарования. Это, естественно, искажает результаты в положительную сторону.

Еще одна уловка заключается в том, чтобы игнорировать скорость отклика. Большинство опросов NPS или опросов после задания получают только 4%-7% ответов. Уровень ответов 7% означает, что на каждый полученный вами ответ приходится 13 человек, которые не отвечают. Поставят ли эти 13 человек тот же балл, что и ответивший? Возможно нет.

Одна из причин низкого процента ответов заключается в том, что люди, которых вы расстроили, скорее всего, не будут давать вам обратную связь. Используя определение лояльности Фреда Райххельда, эти люди не заинтересованы в дальнейших инвестициях.

Чтобы набрать себе очков, поощряйте недоброжелателей отказываться от участия раньше. Намеренно принуждая к отказу, создавая несчастный опыт, вы искажаете всех респондентов, чтобы они имели положительный опыт. (Даже если вы не делаете это намеренно, это легко сделать случайно, почти не имея методов обнаружения и устранения проблем.)

Эти dark patterns NPS дают более высокие баллы, что приводит к большим бонусам. Все выигрывают, верно? (прим. переводчика: напишите в комментариях под этим постом какие еще dark patterns вы знаете про NPS)

Мы считаем NPS вредными. NPS легко обмануть , чтобы выглядеть так, как будто вы улучшили опыт, хотя на самом деле вы могли его ухудшить.

Последователи NPS говорят нам, что ни одна реализация опроса никогда не запрашивает только число. Каждая умная реализация сопровождается качественным вопросом: "Почему?" Некоторые сложные системы будут варьировать вопрос в зависимости от оценки, спрашивая промоутеров: «Что мы сделали хорошо?», а недоброжелателей «Что мы могли бы улучшить?» .

Они правы. Настоящая ценность — это ответ на вопрос «Почему?». Клиент рассказывает вам, что только что произошло, и вы можете это улучшить (или убедиться, что вы не сломаете то, что хорошо работает).

Этим сторонникам NPS я говорю, что это здорово, что они получают эти ценные данные. Зачем им вообще заморачиваться с вопросом о счете? Просто задайте качественный вопрос. Их ответ обычно представляет собой бормотание и пыхтение по поводу сегментации, индикаторов или какой-то другой чепухи, не имеющей смысла.

Мы добавляем эти вопросы «Почему?» в личные качественные исследования пользователей. Ответы часто подсвечивают проблемы в рабочих частях дизайна. Между тем, показатели NPS одних и тех же респондентов редко совпадают с тем, что происходило во время их сеанса. Это отражает данные, которые мы собираем в реальном мире. NPS не основан ни на какой реальности, в которой мы живем.

Недавно старший вице-президент по дизайну одной из компаний из списка Fortune 500 сказал мне: «Каждый отдел встает на собрании старших сотрудников и дает число, часто это NPS. Если я не могу использовать NPS, мне нужно другое число. Мне нужна цифра, которая покажет всем, как мы улучшились».

Там тонны цифр. На самом деле их бесконечное множество.

Тем не менее, нет единого числа, которое бы отражало клиентский опыт компании. Даже NPS. Тем не менее, это не помешает нам попробовать.

Мы могли бы использовать бизнес-метрику, например, количество подписок или количество оттока. Мы могли бы использовать метрики из продаж: чистый доход или прибыль.

Эти цифры не говорят напрямую о дизайне продуктов или услуг. Они не говорят нам, удовлетворены ли клиенты или, еще лучше, в восторге.

Это то, что пытается сделать NPS, хотя он не приблизился к успеху.
Что мы могли бы сделать вместо этого? Вот несколько альтернатив:

"Насколько вы были довольны или расстроены сегодня?"

"Были ли мы сегодня полезны?"

"Мы вас порадовали?"

Я не думаю, что это имеет значение, предполагая, что вас действительно интересует следующий вопрос или какой-то его вариант:

Что можно было сделать лучше?

Последующий вопрос показывает - где ценность. Вы можете задать его множеством способов. Важно то, что вы должны слушать своего клиента.

Это самый большой недостаток NPS. Он пытается достичь результата, который не может быть достигнут. Он нравится нашему руководству, потому что обещает решить проблему, которую нельзя решить так просто.

Клиентский опыт — это сумма всех взаимодействий наших клиентов с нашими продуктами, сайтами, сотрудниками и брендом. Каждая последовательность взаимодействий будет отличаться для каждого клиента.

Люди, которые верят в NPS, верят во что-то, что на самом деле не делает того, чего они хотят. Показатели NPS похожи на ежедневный гороскоп. Здесь нет никакой науки, только вера.

Как UX-профессионалы, мы, вероятно, не сможем убедить верующих в том, что их астрология ненастоящая. Однако мы можем избежать ловушек и использовать меры, которые принесут больше пользы организации.

"Насколько вероятно, что вы порекомендуете эту статью своим друзьям или коллегам?"