“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS

“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS

В этом материале команда Customer Experience (СX) GlowByte, в которую вселился Григорий Остер, даст вредные советы о том, как сделать ваш индекс NPS высоким и бессмысленным. В ней они подробно расскажут о том, какие подводные камни в измерении NPS видят академические исследователи, и что можно предпринять, чтобы нивелировать их проявление.

С момента выхода в свет в Harvard Business Review нашумевшей статьи Фреда Рейхельда «Одна цифра, которую вам нужно знать для роста» [1] прошло уже почти 20 лет. За это время мир клиентского опыта стал немыслим без мониторинга лояльности клиентов NPS (Net Promoter Score). Динамика поисковых запросов Google Trends свидетельствует о продолжающейся популярности индекса по всему миру.

Рис. 1 Динамика популярности запросов по ключевому слову ‘NPS score’ по всему миру с 2004 года по данным Google Trends [дата обращения 10.02.2023]
Рис. 1 Динамика популярности запросов по ключевому слову ‘NPS score’ по всему миру с 2004 года по данным Google Trends [дата обращения 10.02.2023]

Возведя в золотой стандарт простой вопрос «Насколько вероятно, что вы порекомендуете нашу компанию вашим друзьям или знакомым», улучшение клиентского опыта порой превращается в гонку за высокими показателями индекса: менеджеры больше увлечены самой гонкой, а не исходным смыслом предложенной методики по удержанию клиентов. В медицинской аналогии: сбивание высокой температуры приемом аспирина может не дать гарантий, что пациент выживет, а сам по себе ответ «чувствую себя хорошо» или «плохо» может не иметь ничего общего с реальным самочувствием клиента.

<p>Рис. 2. Усталость респондентов от опросов об удовлетворенности [<a href="https://marketoonist.com/2018/10/satisfaction.html" rel="nofollow noreferrer noopener" target="_blank">3</a>]</p>

Рис. 2. Усталость респондентов от опросов об удовлетворенности [3]

Метрика набрала в свои ряды как множество сторонников, так и значимую и скептически настроенную долю противников. Простота методики, о которой заявляли нам ее авторы, разбивается о камень, когда на практике 60–80% клиентов из тех, кто в итоге перешел к конкуренту, непосредственно перед этим сказали, что они довольны работой компании и с большой долей вероятности готовы рекомендовать ее остальным. В результате многие практики скептически относятся к NPS и сетуют о нулевой полезности этой метрики.

Зачастую плохая интерпретируемость NPS связана с нарушением методических этапов замеров или невниманием к особенностям этого инструмента.

В этом материале в формате вредных советов мы рассмотрим, какие подводные камни в измерении NPS видят академические исследователи и что можно предпринять, чтобы нивелировать их проявление.

Совет 1. Давайте сделаем 5-балльную шкалу как в школе, эти громоздкие шкалы никому непонятны

Сторонники простых шкал ратуют за удобство для респондентов и стремятся максимально снизить их размерность. Классическая шкала от 0 до 10 баллов часто подменяется ее “младшим братом”, где из шкалы исключается 0. Эта простая манипуляция математически увеличивает долю промоутеров и снижает долю детракторов (шансы стать промоутером становятся уже 2/10 = 20% вместо 2/11 = 18%, а детрактором – 6/10 = 60% вместо 7/11 = 63%) . На общем индексе NPS это может давать прирост более 5 пунктов.

Помимо этого, урезание нулевого значения превращает шкалу от 1 до 10 в «четную» без явной середины (в отличие от 11-балльной шкалы, где есть срединное значение 5 баллов). Это приводит к уменьшению выраженности нейтральной позиции. При наличии нейтрально настроенной аудитории это также будет завышать долю промоутеров и итоговый показатель NPS.

<p>Рис. 3. Шансы быть детрактором и промоутером в шкалах с разной градацией</p>

Рис. 3. Шансы быть детрактором и промоутером в шкалах с разной градацией

Но настоящая магия происходит при использовании пятибалльной шкалы. Здесь целое поле для творчества: требуется самоопределение, какие оценки относить к детракторам, нейтралам и промоутерам по аналогии с 11-балльной шкалой. Наибольший эффект будет, если мы сохраним трехмерную градацию и будем использовать разницу между “хорошими” оценками 4–5 (промоутеры) и “неудовлетворительными” 1–2 (детракторы). Математически мы более чем вдвое увеличиваем вероятность опрошенного быть промоутером (2/5 баллов ~40%) в сравнении с оригинальной шкалой (2/11 баллов ~18%) и снижаем шансы респондента быть детрактором (с 63% до 40%). Даже если следовать рекомендациям [2] к приведению пяталльной шкалы NPS и считать промоутерами только ответы “отлично” (5), а критиками – оценки удовлетворительно и ниже (1, 2, 3), то, как и в случае с 10-балльной шкалой, все равно происходит завышение доли промоутеров и снижение доли детракторов (см. рис. 3).

Эксперименты [4] со шкалами разной гранулярности подтверждают, что значения NPS могут меняться на диаметральные при расчете по 11-балльной и 5-балльной шкалам. Чем меньше градаций, тем вероятнее, что итоговый индекс будет смещен в позитивную сторону.

Методологические эксперименты исследователей [5] из университета Пенсильвании показывают меньшую надежность и валидность шкал с малой размерностью. Результаты сопоставлений трех-, пяти- и семибалльных шкал с 11-балльными шкалами дают не только различия в критериях качества замеряемых метрик, но и сильно уступают в коэффициентах корреляции с ключевыми признаками.

Иными словами, 11-балльная шкала имеет преимущества с точки зрения поиска взаимосвязей и несет меньшие смещения в сравнении с четными (10-балльными) или менее гранулярными шкалами.

Совет 2. Задизайнить анкету, чтобы было все наглядно: “где хорошо, а где плохо”

Визуальное оформление опросника все чаще становится средством борьбы за повышенный отклик (response rate). В погоне за простотой и наглядностью для респондента применяются разные представления шкалы: цветовые выделения градаций для детрактора, нейтрала или промоутера, использование грустных и веселых смайликов. Обзор результатов исследований показывает, что оформление также влияет на восприятие шкалы.

Джефф Сауро [6] сравнил результаты ответов при использовании обычной бесцветной шкалы и шкалы, где визуально выделены три зоны – детракторы, нейтралы и промоутеры. Его исследования были проведены на небольших выборках, но они показывают, что при использовании цветных шкал происходит завышение доли промоутеров и снижение доли детракторов в среднем на 3–5 процентных пункта в сравнении с обычной шкалой.

“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS
Рис. 4. а) обычная шкала NPS, b) градиентный вариант шкалы NPS
Рис. 4. а) обычная шкала NPS, b) градиентный вариант шкалы NPS
<p>Рис. 5. Результаты сопоставления шкал с использованием градиента, цветных блоков и обычной шкалы в опросе NPS</p>

Рис. 5. Результаты сопоставления шкал с использованием градиента, цветных блоков и обычной шкалы в опросе NPS

Более изысканные дизайны шкал часто предполагают замену скучной шкалы на звездочки, смайлики, сердечки и др. Группа нидерландских исследователей не обошла стороной и эту тему. В серии экспериментов [7] они проследили, как воспринимают такие эффекты сами респонденты – насколько им легче и быстрее удается проходить опросы, и как это отражается на итоговых оценках удовлетворенности изучаемых явлений.

Визуальные элементы шкалы действительно встречают более одобрительные оценки от участников опросов (лидером здесь являются шкалы-смайлики) – респонденты меньше тратят времени на выбор ответа и дают более высокие оценки дизайну и в целом опыту участия в опросе.

Однако при ответах на содержательные вопросы смайлики дают наибольшее смещение в сторону положительных ответов, чем сердечки и звездочки. Авторы связывают отчасти это с тем, что у лиц есть изображения тональности (от грустного, нейтрально до веселого смайла), тогда как другие символические фигуры лишены такой визуальной силы. В результате звездочки и сердечки дают более приближенные к обычной шкале оценки (рис. 4а), чем позитивно смещенные смайлы.

Совет 3. Менять порядок вопросов

Метрики, которые находятся в регулярном мониторинге, чувствительны к порядку расположения в анкете. Тут есть два лагеря: сперва задавать общий NPS-вопрос, а дальше конкретизировать удовлетворенность разными компонентами или, напротив, сначала выяснять, насколько клиент доволен детальными составляющими услуги/ продукта и результирующим вопросом узнавать сам NPS.

Исследователи [8] из университета Мельбурна и Michigan Business School оценили влияние порядка задавания вопроса NPS и пришли к выводу, что расположение в конце анкеты задает более полярные и экстремальные ответы, чем если этот вопрос идет в начале. Они советуют использовать подход от общего к частному для продуктов/ услуг с низким вовлечением клиента (например, ежедневная покупка продуктов питания) и идти от оценки атрибутов до общего NPS для высокововлеченных и комплексных продуктов (например, покупка техники, машины и пр.).

В любом случае порядок вопросов может влиять на итоговый индекс NPS, и для сопоставимости данных его лучше не менять.

Совет 4. Сделать все вопросы обязательными для ответа

NPS часто идет в паре с вопросом “Что мы можем улучшить в нашей работе” и ответом в свободной форме. Если дополняющий открытый вопрос запрограммирован так, что его нельзя пропустить, это станет препятствием для части клиентов. Респонденты с большой неохотой дают развернутые ответы или ответы, требующий определенных усилий. Исследователи из Pew Research проанализировали [9] свою статистику отклика по онлайн-панели American Trends Panel на открытые вопросы и выявили, что в среднем 18% респондентов отказываются отвечать или пропускают такие вопросы, а по некоторым темам этот показатель варьируется от 3% до 50%.

Иначе говоря, делая такие вопросы обязательными, мы можем потерять около 20% оценок NPS. В результате это приводит к тому, что мы получаем так называемый “шум” – короткие и поверхностные ответы (“все супер”, “все ок”, “не знаю” и пр.) – и теряем тех, у кого к нам несколько абзацев претензий, но нет времени и желания тратить на них усилия. На выходе – NPS снова на незаслуженно завышенных позициях.

Совет 5. Забить на отклик, главное – оценки высокие

Классический замер NPS охватывает только текущих клиентов. Яркий пример такого смещения – сеть универмагов Kmart, описанная в книге Wallet Allocation Rule [10]. За всю историю замеров наибольший индекс удовлетворенности у нее наблюдался в момент банкротства. Причиной такой несостыковки стало то, что все недовольные клиенты уже перешли к конкурентам и перестали пользоваться услугами компании, а в базе остались наиболее лояльные, которые были готовы оставаться вместе с Kmart до конца.

Рекомендацией для таких случаев является включение в выборку клиентов, которые перестали пользоваться брендом (в качестве процентного соотношения к выборке текущих клиентов можно ориентироваться на средний отток клиентов), или задавать r-NPS всем, кто что-либо знает или слышал о компании без учета текущего опыта пользования брендом.

Для более достоверных результатов лучше периодически дополнять традиционные каналы сбора обратной связи пусть и дорогими, но более эффективными способами достижения отклика от “молчунов” или игнорирующих push- или email-рассылки. Опыт GlowByte показывает, что привлечение колл-центра позволяет увеличить отклик до 30% в сравнении с 2% отправки через email. На выходе больший охват аудитории дает увеличение представленности детракторов и в целом более дифференцированные ответы, чем преобладание крайних ответов (0-1 баллов и 9-10 баллов).

Таким образом, при низком отклике желательно периодически (хотя бы раз в год) делать замеры по тем, кто не отвечает на регулярные рассылки, для выравнивания понимания, насколько оценки неотвечающих совпадают с теми, на ком мы обычно выстраиваем NPS.

Совет 6. Задарить плюшками во благо высокого отклика

Другая крайность действий при низком отклике – затопить ее вознаграждениями: пообещать скидку на товар, бонусы или другие приятные сюрпризы для клиента. Эксперименты [11] показывают, что бонусы действительно увеличивают процент откликнувшихся на приглашение к опросу, но эффект таких стимулов ограничен. При этом бесконтрольная раздача бонусов может, напротив, вредить собираемой выборке. Если условный пряник слишком выгоден респонденту, то это может давать два вида смещений:

  • Подсаживание аудитории на получение бонусов. Единожды пройдя опрос респондент может рассматривать следующие приглашения к опросу как повод для получения бонуса. В результате выборка начинает смещаться в “профессиональных” промоутеров, которые кочуют из замера к замеру.
  • Задабривание аудитории. Если о бонусе известно заранее, это может формировать более позитивный настрой для респондента, после которого сложнее ругать компанию, даже если у тебя к ней были небольшие претензии.

Таким образом, использование бонусов – эдакий двуликий Янус: с одной стороны, обеспечивает прирост аудитории, с другой – дает смещение опять не в сторону детракторов.

Совет 7. Собираем выборку как можем – главное, что ответов много!

Как и любой опрос, замер NPS крайне чувствителен к принципу отбора клиентов. Если мы присоединяем к опросу новый сегмент клиентов, например, к выборке оффлайновых магазинов добавляем покупателей из интернет-магазина, показатели NPS могут снизиться за счет того, что это более молодая аудитория с повышенными требованиями к сервису, или, наоборот, вырасти, так как интернет-доставка есть только в мегаполисах, где уровень сервиса выше, чем в региональных оффлайн-сторах.

Если из волны к волне выборка формируется хаотично, то динамика показателя становится плохо интерпретируемой. Одним из способов нивелирования является расчет показателей для однородных групп (например, по каждому сегменту отдельно – оффлайн и онлайн) или перевзвешивание итоговой совокупности для выравнивания структуры опрошенных (если соотношение онлайн и оффлайн покупок 40% к 60% в январе, а в августе 70% к 30%, то совокупный индекс за месяц можно перевзвесить с учетом актуальной структуры клиентов).

Совет 8. Какая разница, что ответили 13 человек, зато они очень ценные, каждый – на вес золота

Немаловажно, что NPS также чувствителен к размеру выборки. Чем меньше количество опрошенных, тем менее точные оценки мы получаем. На малых выборках вклад каждого ответившего в итоговый показатель становится более значимым. Покажем это на простых расчетах (таблицы 1 и 2).

Скажем, в первом квартале в каждом месяце собирали по 100 ответов (табл. 1). В феврале (допустим) 5 человек не получили обещанный бонус и дали нам вместо привычных 9-10 баллов по 6 баллов. Этот простой переход настроений 5 человек на выходе дает нам колебания NPS в 20 пунктов. Предположим, что в следующем месяце негативные эмоции немного притихли и эта пятерка ставит уже по 7-8 баллов. На выходе это дает NPS 45 баллов (+15 к прошлому месяцу). То есть мнение 5 людей становится крайне весомым при учете итогового рейтинга. При выборке в 1000 чел. аналогичные колебания 5 человек будут на уровне 1 пункта (см. табл. 2).

Таблица 1. Пример расчета NPS для выборки N=100 чел. при условных колебаниях ответов 5 чел.

“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS

Таблица 2. Пример расчета NPS для выборки N=1000 чел. при условных колебаниях ответов 5 чел.

“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS

Для получения более устойчивых оценок можно использовать скользящее среднее (на 1-2 периода), что позволяет увеличить размер анализируемой выборки. Так, в нашем примере это делает колебания более сглаженными – без резких пиков (табл. 1, нижняя строка).

Отслеживание динамики требует от менеджеров прикладного ответа, насколько падение на 4-5 пп. в с сравнении с предыдущим периодом является критичным ухудшением или улучшением?

Для этого помогут доверительные интервалы, диапазоны колебаний с учетом ошибки. Чем они «уже», тем более точные оценки оцениваемого параметра мы получаем. Американский статистик Б. Рокс [12] сравнивал качество шести методов расчета доверительных интервалов NPS, опираясь на более чем тысячи распределений NPS на основе реальных данных опросов. Его сопоставления показали, что наиболее узкий доверительный интервал дает Adjusted-Wald (3, T).

Расчеты довольно простые: добавляем константу 3 к размеру выборки (n), ¾ к количеству детракторов и промоутеров, а затем вычисляем интервал, используя стандартную ошибку, основанную на дисперсии разницы двух пропорций.

Готовый калькулятор для расчета есть у MeasuringU [13], который позволяет отличить сезонные колебания от действительно значимых падений или прироста индекса.

Совет 9. Бенчмарки наше все: сравниваем себя с другими странами, лучше с японцами

Методика NPS неодинаково работает в разных отраслях, особенно там, где клиенты эмоционально не вовлечены в процесс принятия решения о покупке (например, как при покупке полиса ипотечного страхования или при обращении к стоматологу в случае острой зубной боли) (Baehre et al, 2021 [14]).

Готовность рекомендовать как индикатор приверженности бренду не является универсальной и имеет культурологические особенности. По данным международных сопоставлений Qualtrics XM Institute [15], в Японии клиенты не готовы рекомендовать даже те компании, которые им очень нравятся. В Индии, напротив, не принято критиковать – про компании, которыми клиенты не очень довольны, респонденты все равно не готовы плохо говорить. Это стоит учитывать при гетерогенной аудитории, например, если вы работаете в регионах с разной культурой. В таком случае лучше делать сопоставления group-by-group и смотреть на динамику показателей, чем на прямое сравнение показателей в динамике.

<p>Рис. 6. Результаты сопоставления индекса NPS среди тех, кто ответил, что компания нравится/ не нравится по выборке потребителей из 18 стран N=17,509 из Qualtrics XM Institute Q1 2021 Global Consumer Study</p>

Рис. 6. Результаты сопоставления индекса NPS среди тех, кто ответил, что компания нравится/ не нравится по выборке потребителей из 18 стран N=17,509 из Qualtrics XM Institute Q1 2021 Global Consumer Study

Совет 10. Чем проще, тем лучше (и один в поле воин)

Если авторы методики завещали, что NPS – это одна цифра, которую нам нужно знать для роста, то зачем задавать еще батарею мучительных и детальных вопросов: чем люди довольны, чем мы хуже конкурентов?

Основная масса аргументов лежит в плоскости доказательной связи этой метрики с реальным поведением клиента. Родоначальники подхода в своей работе опирались на исторические данные, а не на потребительские действия клиентов в будущем. Последующие исследования показали слабую взаимосвязь намерения рекомендовать компанию с показателями ее выручки, тратами клиентов и долей бренда в их кошельке [16, 17]. Сравнивая NPS другими метриками удовлетворенности клиентов, академические исследователи приходят к выводу, что зачастую они предсказывают бизнес-показатели несколько лучше, чем вопрос о намерении рекомендовать бренд или компанию (van Doorn et al, 2013) [18].

Исследователи Keiningham, Aksoy, Williams, Buoye [10] предложили альтернативную аналитическую рамку для анализа лояльности клиентов. Она опирается на схожие принципы – клиента просят оценить готовность рекомендовать компанию и ее конкурентов. Но вместо подсчета индекса NPS авторы предлагают использовать ранги: какое место по этой оценке компания занимает на фоне остальных. В отличие от классического подхода, этот показатель дает больший вклад в объяснение взаимосвязи с выручкой компании, чем просто абсолютное значение NPS.

“Вы просто не умеете его готовить”, или 10 вредных советов для мониторинга NPS

Следуя заветам Райхельда и оставаясь с одной цифрой NPS, мы не можем ответить на вопрос “Что нам нужно сделать, чтобы улучшить NPS”. Методика WAR, напротив, включает оценку драйверов, которые снижают или повышают нашу долю в кошельке клиента, и позволяет посмотреть на сильные и слабые стороны наших конкурентов. В нашем примере по исследованию онлайн-сервисов по доставке еды и продуктов (демо-исследование GlowByte) наглядно видно, что когда мы смотрим на драйверы NPS, они не совпадают с тем, что заставляет нашего покупателя больше покупать у конкурентов (Share of Wallet, SOW).

Рис. 7. Оценка вкладов драйверов в рост NPS и Share of Wallet (SoW)
Рис. 7. Оценка вкладов драйверов в рост NPS и Share of Wallet (SoW)

Вместо заключения: такой простой, но сложный NPS

Приводя в пример 10 вредных советов, мы хотели показать, что простые, на первый взгляд, элементы NPS играют важную роль в силе полезности этого инструмента. Оторванность от реальности этого показателя зачастую является рукотворным процессом.

Несмотря на критику академических ученых и скептицизм ряда специалистов-практиков, исследователи продолжают адаптировать методику для получения возможности анализа драйверов роста компании. В качестве рекомендаций по проведению NPS-замеров можно выделить следующие несколько шагов:

- использовать NPS в совокупности с другими метриками клиентского опыта (транзакционные замеры, CES и пр.);

- анализировать динамику однородных групп с расчетом доверительных интервалов и корректным взвешиванием получаемых результатов;

- использовать, например, Wallet Allocation Rule в качестве дополнительной аналитической рамки;

- минимизировать смещения выборки или калибровать ее структуру;

- использовать нечетные шкалы с большим количеством градаций;

- стремится к меньшему влиянию дизайна и цветовых шкал в анкетах.

А для тех, кто дочитал до конца, в заключении приведем бонусный (11-ый) и наш любимый вредный совет.

Совет 11. Давайте исключим из рассмотрения те ответы, что нам не нравятся / кажутся нелогичными

Речь, конечно, не о ботах, которые пишут по 1000 одинаковых отзывов с одного IP – для их отлавливания используют специализированные средства. Тут, как и в физике, важно стремиться к тому, чтобы погрешность измерительного прибора была минимальной. Речь о других примерах – в своём опыте мы встречали предложения по корректировке методики NPS вида:

  • “а давайте оценку “5” от пенсионеров будем засчитывать за оценку “10”, они просто советской закалки и не понимают 11-ти бальную шкалу”;
  • “а если клиент поставил “0” и не дал комментариев, то давайте исключать такие оценки – явно “тролль” какой-то и его мнение не конструктивно”.

И понятно, к какому эффекту приведут такие “улучшения” методики – никто же не предлагает “инвертированные” идеи:

  • “раз мы верим, что пенсионерам не дается 11-балльная шкала, то давайте тогда исключать все оценки выше 5”;
  • “может, тогда не стоит учитывать оценки в 10 баллов без развернутых комментариев – они тоже не дают никакого существенного ответа на вопрос “почему вы поставили такую оценку””.

Правда в том, что “тролли” действительно встречаются и есть такие, которые случайно или по невнимательности поставили неправильную оценку. Но от замера к замеру их вклад будет неизменен (если выборки будут репрезентативными), даже если мы не знаем конкретного их числа. Поэтому вместо того, чтобы придумывать свою уникальную, не сравнимую с другими методику подсчета NPS, лучше сконцентрироваться на динамике этого показателя – в конечном итоге важен не сам размер индекса, а динамика его изменения в сравнении с конкурентами.

Список источников:

1. Frederick F. Reichheld. The One Number You Need to Grow//Harvard Business Review, December 2003. URL: https://hbr.org/2003/12/the-one-number-you-need-to-grow

3. Customer satisfaction survey fatigue URL: https://marketoonist.com/2018/10/satisfaction.html

4. NPS – The one number you’re (probably) doing wrong //Blog by Loop11, 4Febrary 2016 URL:https://www.loop11.com/nps/

5. Duane F. Alwin. Feeling Thermometers Versus 7 Point Scales: Which are Better?//Sociological Methods & Research 25(3):318-340. February 1997 URL: https://www.researchgate.net/publication/249693886_Feeling_Thermometers_Versus_7Point_Scales_Which_are_Better

6. Jeff Sauro. Does Coloring Response Categories Affect Responses? October 23, 2019 URL: https://measuringu.com/coloring-responses/

7. Vera Toepoel, Brenda Vermeeren, Baran Metin. Smileys, Stars, Hearts, Buttons, Tiles or Grids: Influence of Response Format on Substantive Response, Questionnaire Experience and Response Time //Bulletin de méthodologie sociologique: BMS 142(1):57-74. April 2019 URL: https://www.researchgate.net/publication/332365946_Smileys_Stars_Hearts_Buttons_Tiles_or_Grids_Influence_of_Response_Format_on_Substantive_Response_Questionnaire_Experience_and_Response_Time

8. Seigyoung Auh, Linda Court Salisbury, Michael D. Johnson. Order Effects in Customer Satisfaction Modelling //Journal of Marketing Management, Volume 19, Issue 3-4 (2003), pp.379-400 URL: https://www.tandfonline.com/doi/abs/10.1080/0267257X.2003.9728215

9. Dorene Asare-Marfo. Why do some open-ended survey questions result in higher item nonresponse rates than others?// Pew Research Center, Oct 14, 2021 URL: https://medium.com/pew-research-center-decoded/why-do-some-open-ended-survey-questions-result-in-higher-item-nonresponse-rates-than-others-7fabc4a1c328

10. Timothy L. Keiningham, Lerzan Aksoy, Luke Williams, Alexander J. Buoye. The Wallet Allocation Rule: Winning the Battle for Share Hardcover, February 2, 2015 URL: https://www.amazon.com/Wallet-Allocation-Rule-Winning-Battle/dp/111903731X

11. Eleanor Singer, Cong Ye. The Use and Effects of Incentives in Surveys//American Academy of Political and Social Science, Volume 645, Issue 1, November 26, 2012 URL: https://healthpolicy.ucla.edu/chis/tac2015/Documents/SDSM%20TAC/Singer_Ye_2013.pdf

12. Brendan Rocks. Interval Estimation for the “Net Promoter Score” //The American Statistician, Volume 70, 2016 - Issue 4, Pages 365-372 URL: https://www.tandfonline.com/doi/abs/10.1080/00031305.2016.1158124

13. Jeff Sauro. Confidence Interval Calculator for a Completion Rate URL: https://measuringu.com/calculators/wald/

14. Sven Baehre, Michele o'dwyer, Lisa O'Malley, Nick Lee. The use of Net Promoter Score (NPS) to predict sales growth: insights from an empirical investigation //Journal of the Academy of Marketing Science,July 2021. URL: https://www.researchgate.net/publication/353007311_The_use_of_Net_Promoter_Score_NPS_to_predict_sales_growth_insights_from_an_empirical_investigation

15. Bruce Temkin.Talia Quaadgras, Calibrating NPS Across 18 Countries, Qualtrics XM Institute, May 2021 URL: https://www.qualtrics.com/m/www.xminstitute.com/wp-content/uploads/2021/05/2105_CalibratingNPSAcross18Countries_FINAL.pdf

18. Jenny van Doorn a, Peter S.H. Leeflang a b, Marleen Tijs. Satisfaction as a predictor of future performance: A replication //International Journal of Research in Marketing, Volume 30, Issue 3, September 2013, Pages 314-318 URL: https://www.sciencedirect.com/science/article/abs/pii/S0167811613000463

Начать дискуссию