Ценят ли вас клиенты на самом деле? Расскажет индекс удовлетворенности CSAT

Как всего два вопроса помогли нам узнать мнение клиентов о компании? Объясняем в статье.

Используйте навигацию, чтобы выбрать интересующий раздел:

→ Кто проводит исследования в Selectel

→ Как мы изучали мнения клиентов

→ Подготовка к запуску и проведение опроса

→ Обработка и анализ результатов

→ Результаты изучили. Что дальше?

→ Выводы и напутствия

Отдел пользовательских исследований собирает обратную связь от клиентов и доносит ее в виде идей и выводов до заинтересованных команд. Мы работаем как лаборатория внутри компании: коллеги из смежных подразделений обращаются для проведения исследования или приходят за консультацией. Например, нас могут попросить проверить вопросы для интервью или провести исследование новой главной страницы сайта — недавно выполняли такую задачу. Моя команда помогает организовать опросы и тестирования интерфейсов.

Более сложные исследования проводим мы сами. Недавно рассказали о таком в статье. Эти проекты направлены на получение более комплексных знаний о наших пользователях. Ярким примером подобного исследования стал опрос удовлетворенности клиентов CSAT. В статье поделюсь первым опытом запуска и расскажу, что из этого получилось.

Нельзя сказать, что мы совсем ничего не знаем об удовлетворенности пользователей Selectel. Впервые попробовали замерять эту метрику в 2020 году. Тогда мы рассылали опрос в письме — из-за этого получили критически низкое количество ответов и не смогли сделать никаких выводов.

В 2022 году моя команда запустила большой опрос об опыте управления инфраструктурой. Теперь он проходит ежегодно среди клиентов Selectel и внешней аудитории в том числе. Если вам интересно, прочитайте отчет с трендами инфраструктуры в 2024 году — он основан на наших исследованиях.

В этом опросе, помимо прочего, мы оцениваем общую удовлетворенность Selectel, а также удовлетворенность по отдельным аспектам. Это частично закрыло пробелы в знаниях, но все же инструмент до конца не решал нашу задачу регулярного отслеживания удовлетворенности клиентов.

1. Опрос очень комплексный и содержит много вопросов по другим не менее важным темам. Пользователю нужно выделить время, чтобы пройти его.

2. Мы проводим этот опрос раз в год, поэтому не можем быстро отслеживать чувствительные и волнующие клиентов моменты. Так есть риск пропустить важные изменения. Более частый опрос поможет отслеживать динамику мнений на короткой дистанции.

Почему выбрали индекс CSAT?

Чтобы держать руку на пульсе удовлетворенности клиентов, выбрали индекс CSAT — Customer Satisfaction Score.

— Он несложный для клиентов: нужно ответить всего на два вопроса.

— Команде легко интерпретировать результаты благодаря простой шкале и расчету.

— Сам опрос полезен для многих команд в компании, и не только продуктовых: клиенты дают обратную связь по многим параметрам — от стоимости до качества общения техподдержки.

Вот о чем мы спрашивали.

Мы использовали 5-балльную шкалу. К довольным клиентам относили тех, кто поставил 4 и 5.

Мы показывали опрос в панели управления (ПУ), где пользователи работают с услугами. На тот момент у нас уже был отработанный сценарий для запуска опросов в ПУ — внутри компании мы называем их контекстными. Они показываются пользователям при выполнении заданных условий — триггеров. Например, мы можем показать опрос пользователям, которые только что арендовали выделенный сервер или создали дополнительного пользователя в аккаунте.

В случае опроса удовлетворенности было два триггера: авторизация пользователя в панели управления и время, проведенное в ПУ. Спустя 15 секунд после входа в панель управления появлялось окно с опросом.

Опрос отображался только один раз — пользователь мог пройти его или просто закрыть окно.

Поскольку форма была элементом ПУ, нам потребовалась помощь фронтенд-разработчика и тестировщика из команды панели управления. Коллеги добавили опрос с запланированной датой старта и убедились, что все выглядит так, как должно. На работу ушло около пяти дней. Это не первый опыт запуска контекстного опроса, поэтому с технической стороны все процессы уже были отработаны.

Опрос составлен, условия показа определены, запуск запланирован. Казалось бы, что может пойти не так? Спойлер: были два момента, в которых планы нарушились. Но поговорим об этом чуть позже.

За 30 дней мы собрали 1 121 ответ. Количество показов опроса немного превысило 23 тысячи — конверсия получилась неплохой.

Итоговое количество ответов сократилось, т. к. мы удалили:

В итоге мы получили 867 «чистых» ответов.

По этим оценкам мы посчитали индекс CSAT и получили общий результат — он составил 86,62%. Нормальным считается показатель от 75% и выше, поэтому мы считаем наши итоги очень хорошими.

Затем мы приступили к обработке ответов на второй вопрос. Вручную распределили ответы по категориям «цена», «продукт», «техподдержка», «панель управления», «документация» и др. При анализе мы учитывали только «негативные» комментарии — те, что содержали конструктивную критики и конкретные предложения по изменениям и доработкам.

Для начала мы разделили всех ответивших на сегменты на основании данных об их выручке за последний полный месяц, предшествующий запуску опроса. Это одна из базовых сегментаций клиентов, которую используем в исследованиях. Мы выделили пять сегментов и посчитали индекс CSAT для каждого. Показатели немного отличались, однако статистические тесты не показали значимой разницы в уровне удовлетворенности разных сегментов. Значит, мы можем считать, что все пользователи вне зависимости от объема потребляемых услуг одинаково удовлетворены сервисами.

Также мы проанализировали комментарии клиентов разных сегментов в попытке понять, что влияет на удовлетворенность пользователей с разным объемом потребления инфраструктуры.

Изучили оценки внутри каждой категории комментариев, чтобы выделить аспекты, которые влияют на удовлетворенность больше всего:

Особенно интересным для нас оказался момент, который подтвердился после дополнительного анализа: чем больше клиенту нравится техподдержка, тем выше он оценивает взаимодействие с Selectel.

Цель проведения опроса — оценить удовлетворенность клиентов и выявить наиболее болезненные точки в их взаимодействии с Selectel. Поэтому основными заинтересованными лицами в результатах мы видели продуктовые команды и специалистов клиентского сервиса. Мы провели презентацию результатов руководителям этих департаментов, собрали обратную связь и пожелания на будущее. Отдельно подготовили таблицу с комментариями пользователей с разбивкой по продуктам и сервисам — ее отдали напрямую командам развития продуктов.

Для себя мы сформировали новые гипотезы. Проведем аналитику и проверим взаимосвязь удовлетворенности с другими метриками, например, retention, в том числе и в долгосрочной перспективе.

Те самые нюансы

Поскольку исследование проходило первый раз, были недочеты, которые мы взяли на доработку.

Мы не задали условие по «возрасту» клиента в Selectel, поэтому опрос видели в том числе пользователи, которые буквально только что создали аккаунт или даже не дошли до конца этого этапа. У большинства еще не было опыта работы с нами, поэтому оценить свою удовлетворенность они толком не могли.

Кто-то ставил случайную оценку — это искажало результаты при анализе. Да и сами пользователи не были рады свалившемуся на них опросу сразу после регистрации.

Формулировка второго вопроса «Что мы можем улучшить?» повлияла на анализ и интерпретацию результатов. С такой постановкой мы получили много ответов, где пользователи оценили удовлетворенность на 5, но оставляли комментарий с конструктивной критикой, в том числе о возможных улучшениях и изменениях. Такие комментарии мы не могли оценивать как однозначно положительные, поэтому при дальнейшем анализе рассматривали как негативные. Это, в свою очередь, помешало оценить, какие упомянутые аспекты больше всего влияют на удовлетворенность. Где-то мы получали «завышенные» оценки.

Сейчас мы проводим второй опрос удовлетворенности и в нем заменили формулировку второго вопроса на «Почему вы поставили такую оценку?». Так интерпретация ответов будет более прозрачной, а сам вопрос даст пользователям больше мотивации делиться обратной связью.

Возможно, это покажется вам очевидным, но анализ результатов лучше отдать одному человеку. Мы занимались аналитикой втроем, из-за этого постоянно терялись в таблицах, документах и их бесконечных копиях. Считали результаты по неверным данным и потом пересчитывали, непрозрачно делили задачи, пока не синхронизировались. Мы могли бы избежать этого, если бы выбрали одного ответственного или более четко распределили задачи между друг другом.

Несмотря на сложности, мы считаем запуск опроса удовлетворенности успешным — и не только потому, что получили высокий индекс. Мы собрали много данных от пользователей, нашли инсайты, подтвердили уже существующие гипотезы и сформировали новые для дальнейшего исследования. Кроме этого, мы получили новую CX-метрику, разработали и проверили процесс подготовки и проведения регулярного опроса. А еще получили много приятных комментариев от наших клиентов.

Вот пять пунктов, которые я рекомендую учесть, если вы готовитесь к запуску опроса.

P.S. Пока я писала эту статью, в компании уже прошел второй и последний в 2024 году опрос удовлетворенности. В нем учли все нюансы и ошибки, о которых мы узнали после первого исследования. Так что могу уверенно сказать: практики из этой статьи будут полезны.

#selectel #ux #исследования #индексудовлетворенности #пользовательскийопыт