Кайфовый UX. Как понять, что ваше приложение попадает в самое сердце

NPS и CSI практически ничего не говорят об эмоциональной привязанности пользователей к продукту. Для этого мы создали новую метрику — кайфовость. Рассказываем, что она в себя включает и как её измерить.

Привет, VC! На связи команда исследователей из UX-лаборатории МТС. Мы измеряем пользовательский опыт и помогаем разрабатывать продукты и сервисы компании.

В МТС прокачивают разные показатели пользовательского опыта — от лояльности (NPS) до удобства прохождения сценариев (CSI) и визуальной эстетики. Каждая из этих метрик работает на свои задачи. Но ни одна не показывает явно, оставило ли приложение эмоциональное впечатление у пользователя.

Поэтому компании нужна была надёжная методика, которая поможет измерить эмоции от использования сервиса и объяснить, из чего они складываются. Этим и занялась наша команда.

Мы взяли пару подходящих методик, перевели их на русский язык и адаптировали под наши реалии — так родилась кайфовость.

Но обо всём по порядку.

При подготовке мы опирались на методику SUPR-Qm Джеффа Соро и его коллеги. В ней учёные собрали широкий перечень причин, по которым люди любят установленные приложения.

В опроснике Соро отобраны фразы, которыми можно описать и онлайн-банк, и мессенджер. Например: «Это приложение восхитительное» или «Я не могу представить приложение лучше этого».

У методики были и другие преимущества: она значительно пересекается с оценкой опыта использования (UMUX), лояльностью (NPS) и поставленной приложению оценкой.

С первого взгляда методика подходила идеально: эмоциональна, универсальна и затрагивает все воспринимаемые атрибуты приложения.

Но, посмотрев на атрибуты приложений, мы поняли, что авторы оставили без внимания визуальную составляющую: современные анимации, микровзаимодействия, юмор в текстах интерфейса.

Между тем, именно о современном и нескучном дизайне сервисов упоминают в беседах наши респонденты, когда хвалят любимые приложения. Поэтому мы решили поэкспериментировать и добавили несколько вопросов о визуальной эстетике сервиса из методики VisAWI Майнальда Тильша.

Так появилась первая версия русскоязычного опросника кайфовости, коротко — РОК.

В наш первый опросник вошли 18 утверждений.

Опросник протестирован на 1 000 пользователей наших приложений:

Мой МТС — сервис с наибольшим охватом пользователей;
KION — контентный развлекательный сервис;
МТС Music — музыкальный сервис;
МТС Банк — финансовый сервис;
МТС Cashback — программа лояльности.

Мы взяли наиболее популярные сервисы из разных сфер, а респондентов выбрали из тех, кто пользуется сервисом не менее 3 месяцев и заходит в него минимум раз в несколько дней.

Во вступлении мы попросили пользователей вспомнить случаи, когда они использовали сервис на смартфоне или другом устройстве, и, опираясь на этот опыт, ответить на вопросы из опросника.

Каждое утверждение из РОК предложили оценить по 5-балльной шкале:

1. Совсем НЕ согласен(а)
2. Скорее НЕ согласен(а)
3. Ни да, ни нет
4. Скорее согласен(а)
5. Полностью согласен(а)

Перед началом подсчётов мы перевернули обратные шкалы: где поставлена оценка 5 — заменили на 1, где 4 — на 2 и т. д. Затем приступили к вычислению индекса.

Задача простая: посчитать, какой процент от общего числа оценок составляют высокие — 4 и 5.

Разберём на примере:

✔ В опросе участвовали 100 человек.
✔ По каждому из 18 пунктов эти 100 человек поставили оценки.
✔ Из 1 800 оценок лишь 750 — высокие оценки 4 и 5.
✔ Индекс кайфовости в таком случае: (750 / 1800) x 100% = 42.

1. Проверили надёжность методики

После обработки данных мы подтвердили, что методике на русском языке можно доверять. Она значимо пересекается с лояльностью (0,72) и опытом использования сервиса (0,73).

Все вопросы методики измеряют одно и то же свойство: коэффициент альфа Кронбаха (α), который говорит о пригодности методики, находится на высоком уровне. Так значение α > 0,9 является очень хорошим. У нас вышло α = 0,94, как и у Джеффа Соро.

2. Определили, что входит в кайфовость

По итогам опросов мы выделили три группы факторов, из которых складываются эмоции от использования сервиса: приверженность, удобство и дизайн.

3. Определили базовые характеристики приложений

Есть ряд утверждений, которые подсвечивают базовые характеристики для сервисов — они должны быть по умолчанию.

✔ Визуально привлекательно
✔ Имеет все нужные функции
✔ Удовлетворяет моим требованиям
✔ Не ухудшает работу устройства
✔ Легко находить нужное в нём
✔ Легко ориентироваться
✔ Легко использовать

В большинстве случаев активные пользователи дают максимальную оценку этим утверждениям. Такие данные не дают ярких различий между приложениями и просто тащат кайфовость всех сервисов вверх.

А вот эти 10 параметров имеют больший разброс по оценкам, им стоит уделять больше внимания.

✔ Необыденный дизайн
✔ Нескучный дизайн
✔ Лучший сервис
✔ Восхитительный сервис
✔ Не могу представить сервис лучше
✔ Не могу представить устройство без этого сервиса
✔ Сервис стоит установить каждому(ой)
✔ Никогда не удалю сервис
✔ Нравится открывать новые функции
✔ Нравится часто пользоваться

4. Сделали краткую версию опросника

Измерять кайфовость по 18 атрибутам качественно, но долго. Если этот замер единственный — всё в порядке. Но в больших компаниях чаще проводят один большой опрос и измеряют сразу несколько показателей: NPS, осведомлённость, узнаваемость и т. д.

Таким образом из-за 18 новых вопросов по кайфовости итоговая анкета увеличивается чуть ли не вдвое. Люди просто не проходят такой опрос до конца.

Для регулярных замеров мы решили сделать краткий опросник кайфовости. Выбрали вопросы, затрагивающие все факторы, с наибольшим разбросом оценок — эти показатели более чувствительны к изменениям в продукте и лучше всего подойдут для повторяющегося замера.

Краткий опросник предлагает оценить всего 4 утверждения

5. Скорректировали опросник для контентных приложений

В этом нам помог анализ приложения KION. Экспериментируя с разными способами подсчёта кайфовости, мы заметили: после удаления одного из пунктов методики KION выбился в лидеры рейтинга, изменив последовательность приложений в нём.

Это было ожидаемо, ведь KION — развлекательный, а следовательно, кайфовый сервис. Но почему порядок не менялся в опроснике из 10 атрибутов?

Дело в том, что кайфовость KION занижал атрибут «Мне нравится открывать новые функции в этом сервисе» сильнее, чем остальным приложениям.

Главная функция KION — показывать контент. Открытие нового функционала в контентном приложении не увеличивает его кайфовость. Поэтому для таких приложений мы заменили этот атрибут на «Мне нравится открывать новый контент в этом сервисе».

• Краткая версия методики — самая простая и функциональная. Она охватывает сразу все факторы, чувствительна к изменениям в продукте, а её замер не занимает много времени.

• Подбирать аудиторию для опроса следует из тех, кто пользуется приложением от 1 месяца. У этой аудитории уже сложилось впечатление от сервиса. В ходе пилотов мы выяснили, что время использования сервиса не влияет на индекс кайфовости. «Старички», использующие приложение несколько лет, не завышают и не занижают показатель.

• Кроме анализа своих сервисов стоит оценить и приложения конкурентов — лидеров рынка. Собрав бенчмарки в своей нише, можно наметить план улучшений. Если ниша новая, компания может сравнивать себя с собой месяц назад.

• Ключевой пункт — мониторинг результатов. После каких-то изменений в сервисе аудитории нужно дать время, чтобы к ним привыкнуть, и снова проводить опрос. Как правило, для этого хватает пары месяцев.

• Результаты исследований отличаются в зависимости от канала. Для сбора ответов и отслеживания динамики лучше использовать один и тот же ресурс.

• Для корректного подсчёта индекса важно не забыть перевернуть шкалы. Где это нужно сделать, мы отметили в опросниках.

✔ Кайфовость показывает не только приверженность пользователей сервису, но и то, как они оценивают его удобство, функциональность, дизайн.

✔ Единая метрика помогает продуктологам оценить качество сервиса на уровне эмоций и отражает вклад всей команды, которая работает над продуктом.

Мы показали инструменты измерения кайфовости — как их использовать и почему им можно доверять — и продолжаем с ними экспериментировать. Возможно, скоро поделимся и новыми инсайтами.

Если есть вопросы, задавайте в комментариях. Будем рады кайфовой дискуссии!