Кайфовый UX. Как понять, что ваше приложение попадает в самое сердце
NPS и CSI практически ничего не говорят об эмоциональной привязанности пользователей к продукту. Для этого мы создали новую метрику — кайфовость. Рассказываем, что она в себя включает и как её измерить.
Привет, VC! На связи команда исследователей из UX-лаборатории МТС. Мы измеряем пользовательский опыт и помогаем разрабатывать продукты и сервисы компании.
В МТС прокачивают разные показатели пользовательского опыта — от лояльности (NPS) до удобства прохождения сценариев (CSI) и визуальной эстетики. Каждая из этих метрик работает на свои задачи. Но ни одна не показывает явно, оставило ли приложение эмоциональное впечатление у пользователя.
Поэтому компании нужна была надёжная методика, которая поможет измерить эмоции от использования сервиса и объяснить, из чего они складываются. Этим и занялась наша команда.
Мы взяли пару подходящих методик, перевели их на русский язык и адаптировали под наши реалии — так родилась кайфовость.
Но обо всём по порядку.
Как мы делали РОК — русскоязычный опросник кайфовости
При подготовке мы опирались на методику SUPR-Qm Джеффа Соро и его коллеги. В ней учёные собрали широкий перечень причин, по которым люди любят установленные приложения.
В опроснике Соро отобраны фразы, которыми можно описать и онлайн-банк, и мессенджер. Например: «Это приложение восхитительное» или «Я не могу представить приложение лучше этого».
У методики были и другие преимущества: она значительно пересекается с оценкой опыта использования (UMUX), лояльностью (NPS) и поставленной приложению оценкой.
С первого взгляда методика подходила идеально: эмоциональна, универсальна и затрагивает все воспринимаемые атрибуты приложения.
Но, посмотрев на атрибуты приложений, мы поняли, что авторы оставили без внимания визуальную составляющую: современные анимации, микровзаимодействия, юмор в текстах интерфейса.
Между тем, именно о современном и нескучном дизайне сервисов упоминают в беседах наши респонденты, когда хвалят любимые приложения. Поэтому мы решили поэкспериментировать и добавили несколько вопросов о визуальной эстетике сервиса из методики VisAWI Майнальда Тильша.
Так появилась первая версия русскоязычного опросника кайфовости, коротко — РОК.
РУССКОЯЗЫЧНЫЙ ОПРОСНИК КАЙФОВОСТИ
• Это визуально привлекательный сервис.
• Дизайн [название сервиса] выглядит обыденным. Обратная шкала, методика VisAWI.
• У [название сервиса] скучный дизайн. Обратная шкала, методика VisAWI.
• [Название сервиса] имеет все функции/особенности, которые могли бы мне понадобиться.
• Возможности [название сервиса] удовлетворяют всем моим требованиям.
• [Название сервиса] не ухудшает работу устройства.
• Дизайн сервиса позволяет мне легко находить нужную информацию в нём.
• В [название сервиса] легко ориентироваться.
• [Название сервиса] легко использовать.
• Этот сервис — лучший из тех, что я когда-то использовал(а).
• Это восхитительный сервис.
• Я не могу представить сервис лучше этого.
• Я не могу представить свой смартфон/телевизор/др. без [название сервиса].
• Я считаю, что [название сервиса] стоило бы установить каждому(ой).
• Я бы никогда не удалил(а) [название сервиса].
• Мне нравится открывать новые функции/новый контент* в [название сервиса].
• Мне нравится часто пользоваться [название сервиса].
• Я буду использовать [название сервиса] в будущем.
* для контентных сервисов
В наш первый опросник вошли 18 утверждений.
Какие сервисы тестировали первыми и как оценивали ответы
Опросник протестирован на 1 000 пользователей наших приложений:
Мой МТС — сервис с наибольшим охватом пользователей;
KION — контентный развлекательный сервис;
МТС Music — музыкальный сервис;
МТС Банк — финансовый сервис;
МТС Cashback — программа лояльности.
Мы взяли наиболее популярные сервисы из разных сфер, а респондентов выбрали из тех, кто пользуется сервисом не менее 3 месяцев и заходит в него минимум раз в несколько дней.
Во вступлении мы попросили пользователей вспомнить случаи, когда они использовали сервис на смартфоне или другом устройстве, и, опираясь на этот опыт, ответить на вопросы из опросника.
Каждое утверждение из РОК предложили оценить по 5-балльной шкале:
- Совсем НЕ согласен(а)
- Скорее НЕ согласен(а)
- Ни да, ни нет
- Скорее согласен(а)
- Полностью согласен(а)
Перед началом подсчётов мы перевернули обратные шкалы: где поставлена оценка 5 — заменили на 1, где 4 — на 2 и т. д. Затем приступили к вычислению индекса.
Задача простая: посчитать, какой процент от общего числа оценок составляют высокие — 4 и 5.
Разберём на примере:
✔ В опросе участвовали 100 человек.
✔ По каждому из 18 пунктов эти 100 человек поставили оценки.
✔ Из 1 800 оценок лишь 750 — высокие оценки 4 и 5.
✔ Индекс кайфовости в таком случае: (750 / 1800) x 100% = 42.
Что получили по итогам пилотов
1. Проверили надёжность методики
После обработки данных мы подтвердили, что методике на русском языке можно доверять. Она значимо пересекается с лояльностью (0,72) и опытом использования сервиса (0,73).
Все вопросы методики измеряют одно и то же свойство: коэффициент альфа Кронбаха (α), который говорит о пригодности методики, находится на высоком уровне. Так значение α > 0,9 является очень хорошим. У нас вышло α = 0,94, как и у Джеффа Соро.
2. Определили, что входит в кайфовость
По итогам опросов мы выделили три группы факторов, из которых складываются эмоции от использования сервиса: приверженность, удобство и дизайн.
3. Определили базовые характеристики приложений
Есть ряд утверждений, которые подсвечивают базовые характеристики для сервисов — они должны быть по умолчанию.
✔ Визуально привлекательно
✔ Имеет все нужные функции
✔ Удовлетворяет моим требованиям
✔ Не ухудшает работу устройства
✔ Легко находить нужное в нём
✔ Легко ориентироваться
✔ Легко использовать
В большинстве случаев активные пользователи дают максимальную оценку этим утверждениям. Такие данные не дают ярких различий между приложениями и просто тащат кайфовость всех сервисов вверх.
А вот эти 10 параметров имеют больший разброс по оценкам, им стоит уделять больше внимания.
✔ Необыденный дизайн
✔ Нескучный дизайн
✔ Лучший сервис
✔ Восхитительный сервис
✔ Не могу представить сервис лучше
✔ Не могу представить устройство без этого сервиса
✔ Сервис стоит установить каждому(ой)
✔ Никогда не удалю сервис
✔ Нравится открывать новые функции
✔ Нравится часто пользоваться
4. Сделали краткую версию опросника
Измерять кайфовость по 18 атрибутам качественно, но долго. Если этот замер единственный — всё в порядке. Но в больших компаниях чаще проводят один большой опрос и измеряют сразу несколько показателей: NPS, осведомлённость, узнаваемость и т. д.
Таким образом из-за 18 новых вопросов по кайфовости итоговая анкета увеличивается чуть ли не вдвое. Люди просто не проходят такой опрос до конца.
Для регулярных замеров мы решили сделать краткий опросник кайфовости. Выбрали вопросы, затрагивающие все факторы, с наибольшим разбросом оценок — эти показатели более чувствительны к изменениям в продукте и лучше всего подойдут для повторяющегося замера.
КРАТКИЙ ОПРОСНИК КАЙФОВОСТИ
• Я не могу представить свой смартфон/телевизор/др. без [название сервиса].
• [Название сервиса] легко использовать.
• [Название сервиса] имеет все функции/особенности, которые могли бы мне понадобиться.
• Дизайн сервиса выглядит обыденным. Обратная шкала, методика VisAWI.
Краткий опросник предлагает оценить всего 4 утверждения
5. Скорректировали опросник для контентных приложений
В этом нам помог анализ приложения KION. Экспериментируя с разными способами подсчёта кайфовости, мы заметили: после удаления одного из пунктов методики KION выбился в лидеры рейтинга, изменив последовательность приложений в нём.
Это было ожидаемо, ведь KION — развлекательный, а следовательно, кайфовый сервис. Но почему порядок не менялся в опроснике из 10 атрибутов?
Дело в том, что кайфовость KION занижал атрибут «Мне нравится открывать новые функции в этом сервисе» сильнее, чем остальным приложениям.
Главная функция KION — показывать контент. Открытие нового функционала в контентном приложении не увеличивает его кайфовость. Поэтому для таких приложений мы заменили этот атрибут на «Мне нравится открывать новый контент в этом сервисе».
Как лучше измерять кайфовость: советы и рекомендации
- Краткая версия методики — самая простая и функциональная. Она охватывает сразу все факторы, чувствительна к изменениям в продукте, а её замер не занимает много времени.
- Подбирать аудиторию для опроса следует из тех, кто пользуется приложением от 1 месяца. У этой аудитории уже сложилось впечатление от сервиса. В ходе пилотов мы выяснили, что время использования сервиса не влияет на индекс кайфовости. «Старички», использующие приложение несколько лет, не завышают и не занижают показатель.
- Кроме анализа своих сервисов стоит оценить и приложения конкурентов — лидеров рынка. Собрав бенчмарки в своей нише, можно наметить план улучшений. Если ниша новая, компания может сравнивать себя с собой месяц назад.
- Ключевой пункт — мониторинг результатов. После каких-то изменений в сервисе аудитории нужно дать время, чтобы к ним привыкнуть, и снова проводить опрос. Как правило, для этого хватает пары месяцев.
- Результаты исследований отличаются в зависимости от канала. Для сбора ответов и отслеживания динамики лучше использовать один и тот же ресурс.
- Для корректного подсчёта индекса важно не забыть перевернуть шкалы. Где это нужно сделать, мы отметили в опросниках.
Вместо выводов
✔ Кайфовость показывает не только приверженность пользователей сервису, но и то, как они оценивают его удобство, функциональность, дизайн.
✔ Единая метрика помогает продуктологам оценить качество сервиса на уровне эмоций и отражает вклад всей команды, которая работает над продуктом.
Мы показали инструменты измерения кайфовости — как их использовать и почему им можно доверять — и продолжаем с ними экспериментировать. Возможно, скоро поделимся и новыми инсайтами.
Если есть вопросы, задавайте в комментариях. Будем рады кайфовой дискуссии!
Можете объяснить две вещи, а то не пойму, толи вы их вырвали из контекста и не объяснили, то ли я что-то не так прочитал:
ВОПРОС №1
💬Вы пишите - "Перед началом подсчётов мы перевернули обратные шкалы: где поставлена оценка 5 — заменили на 1, где 4 — на 2 и т. д. Затем приступили к вычислению индекса."
🤔Вопрос - Зачем переворачивать все если дальше вы нигде это не используете?
ВОПРОС №2
💬 Вы пишите - "После обработки данных мы подтвердили, что методике на русском языке можно доверять. Она значимо пересекается с лояльностью (0,72) и опытом использования сервиса (0,73).Все вопросы методики измеряют одно и то же свойство: коэффициент альфа Кронбаха (α), который говорит о пригодности методики, находится на высоком уровне. Так значение α > 0,9 является очень хорошим. У нас вышло α = 0,94, как и у Джеффа Соро."
🤔Вопрос - Так и не понял как вы так сконектили все эти цифры. У вас индекс вышел 42, как это метчится с 0,72 и 0,73? Также у вас α = 0,94. Это как так получилось? Можно тут больше математики получить как вы это все сконнектили между собой и получили такие значения?
Спасибо!
Артем, спасибо большое вам за вопросы!
🤔Вопрос - Зачем переворачивать все если дальше вы нигде это не используете?
🟢 Ответ:
«Обратные» шкалы — это когда респондент по отвечает, «1», а для наших подсчетов это означает «5».
Например, «Согласны ли вы, что у приложения скучный дизайн». 5 — полностью согласен, 1 — полностью не согласен. Ставят «1», а для оценки дизайна это твердая «5».
Мы переворачиваем шкалы, чтобы правильно посчитать значение индекса. Если их не перевернуть, то получится неверное значение.
Вот последовательность ответов респондента — 1(обр), 1(обр), 5, 5
А вот какие данные мы считаем для индекса — 5, 5, 5, 5
🤔Вопрос - Так и не понял как вы так сконектили все эти цифры. У вас индекс вышел 42, как это метчится с 0,72 и 0,73? Также у вас α = 0,94. Это как так получилось? Можно тут больше математики получить как вы это все сконнектили между собой и получили такие значения?
🟢 Ответ:
Мы никак не коннектили эти цифры. Они служат разным целям. 0,72 и 0,73 и α = 0,94 нам нужны только для описания методики. Расскажу чуть подробнее.
Корреляция — это, когда две вещи связаны между собой таким образом, что если одна из них изменяется, то и другая тоже изменяется. Если связь между ними положительная, то они меняются в одном направлении.
Для этой методики мы посчитали корреляцию с другими методиками. Лояльностью (NPS) и пользовательским опытом (UMUX Lite )
0,72 — корреляция индекса кайфовости с NPS
0,73 — корреляция индекса кайфовости с UMUX Lite
Далее мы посчитали Коэффициент альфа Кронбаха (0, 94).
Это число, показывает, что все вопросы измеряют один и тот же признак, и результатам методики можно доверять.
После того, как мы описали показатели методики, мы можем ее применить. И вот тут уже появляется индекс 42.
Артем, подскажите, пожалуйста, получилось ли у меня ответить на ваши вопросы?
Почему результаты исследования отличаются в зависимости от канала?
То есть в зависимости от выбора канала можно сделать продукт более кайфовым?)
В каналах отличается число лояльных пользователей. Если придут только они, то и кайфовость оцениваемого сервиса взлетает. Например, вам от МТС приходит ссылка на опрос, за прохождение которого платят кешбэком.
Но всегда можно использовать панель и сравнивать результаты нескольких замеров между собой:3
Кажется, это супер B2C-шная история. Ну а что в B2B?
Рассмотрим краткую версию опросника:
• «Я не могу представить свой смартфон/телевизор/др. без [название сервиса].»
Наверное, для веб-продукта это нужно перефразировать в «Не могу представить, что я прекращу использовать [название сервиса]». Это зависит от места работы. Перешёл в другую компанию — перестал пользоваться.
• «[Название сервиса] легко использовать.»
Ну мб. Но в B2B порог входа всегда выше. И это нужно учитывать и тщательно отбирать тех, кто хорошо освоил продукт.
• «[Название сервиса] имеет все функции/особенности, которые могли бы мне понадобиться.»
А это точно про кайфовость? В Jira есть все необходимые мне функции, но я её ненавижу.
• «Дизайн сервиса выглядит обыденным. Обратная шкала, методика VisAWI.»
Не уверен, что в B2B это действительно важный момент.
От большинства корпоративных систем кайфуют только мазохисты.
Но вижу, как Ноушен или Миро начинают использовать для себя и потом тянут в компанию. То есть кайфовые б2б сервисы существуют, если их делать по законам б2с.
Обязательно ли пытаться адаптировать B2C историю под B2B?
Важна ли вообще кайфовость в B2B сегменте? Мне кажется, там преследуются несколько иные цели, и поэтому сложно провести параллели
Работала пару лет назад в итальянской компании, они там использовали для корпоративных целей систему 2010 года и были всем довольны, потому что она ведь работает ))