Дизайн Ян Австрейх
1 667

Собрать метрики UX-дизайна и верно их интерпретировать: пять рекомендаций

Конспект материала аналитика Джеффа Сауро о принципах работы с интерфейсом: быстроте решения задач пользователя, сравнении себя с конкурентом, и о том, почему на них не следует слепо опираться.

В закладки
Джефф Сауро

Для начала автор предлагает разобраться, что такое измерение и зачем оно нужно.

Сауро пишет, что хорошее определение даёт Дуглас Хаббард в книге «Как измерить всё что угодно».

Измерение — это совокупность снижающих неопределённость наблюдений, результат которых выражается некой величиной.

Дуглас Хаббард
автор книги «Как измерить всё что угодно»

Согласно этому определению, измерение не обязано быть на 100% точным и свести всё к одному числу. Измерение и статистический анализ не гарантируют успеха, вместо этого повышая его вероятность.

Измерения в UX

Можно перенести представление о целях измерения на пользовательский опыт.

Автор предлагает наблюдать за тем, как пользователи пытаются выполнить задачу, делают ошибки, медлят и негодуют. Это даёт некоторое представление об их опыте. Свои наблюдения мы можем представить руководству.

Вместо того чтобы говорить, что опыт был «плохим» или «хорошим», «интуитивно понятным» или «непонятным», «лучше» или «хуже», можно отразить результаты в цифрах.

Измерение в UX — это количественная оценка наблюдений и мнений пользователей. Она помогает снизить неопределённость относительно того, насколько удобно пользоваться продуктом на самом деле. Чем точнее мы опишем наблюдения, тем точнее будут улучшения.

Сауро пишет: нет единого метода или инструмента для количественной оценки пользовательского опыта, скажем, специального UX-термометра или UX-рулетки с делениями. Вместо этого мы полагаемся на сочетание действия и отношения.

Сложилось несколько UX-метрик. Наиболее распространённые — показатели завершённости, времени и ошибок. Отношение чаще всего исследуют с помощью анкетирования.

Результаты измерений — зависимые переменные

Вы провели исследование и получили результаты — выходные данные, зависящие от входных (пользовательского интерфейса).

Автор советует вспомнить знания из средней школы. Решая уравнения, мы всегда говорили про зависимую и независимую переменные. В этой метафоре особенности интерфейса будут иксом (независимой переменной), а результаты исследования — игреком (зависимой).

Независимые переменные — те, которые меняются, чтобы повлиять на зависимую.

Для лучшего понимания Сауро приводит в пример эксперимент, не связанный с UX. Несколько лет назад он с коллегами решил выяснить, станут ли водители ехать медленнее по определённой улице, если там поставить знак «Сбавьте скорость».

Экспериментаторы с помощью радара измерили скорость машин (зависимая переменная), когда знак отсутствовал и когда стоял (независимая переменная).

Они обнаружили: после установки знака средняя скорость снизилась с 40 до 32 километров в час (на 18%, это статистически значимое снижение).

Знак, который установили Сауро и коллеги

Метрики UX — зависимые переменные (например, время завершения задачи), а независимые — то, что вы изменяете в интерфейсе (например, новый текст для кнопок, изменённый ввод для календаря или окно выбора мест на сайте авиакомпании).

Что делать с UX-метриками: пять рекомендаций

1. Опишите, помогает ли дизайн решить задачу или путает пользователя

Тестирование проектов может оказаться полезным даже на ранних этапах. Наблюдайте за пользователями, когда те пытаются выполнить задачу, и отмечайте любые возникающие у них проблемы.

Можно использовать как полноценные продукты, так и прототипы. Существуют исследования, доказывающие, что даже прототипы с низкой точностью показывают реальный опыт использования.

Можно начать с простого, собрав только две метрики:

  • Показатель завершённости. Следите, справляется ли пользователь с выполнением намеченных задач (вам должно быть о них известно). Показатель завершённости — фундаментальная метрика. Если пользователь не может сделать желаемое, остальное будет не важно.
  • Простота выполнения задачи. После того как пользователи попробуют выполнить задачу, попросите их оценить, насколько легко или сложно это было.

Например, попользовавшись сайтом Frontier Airlines, некоторые участники заметили, что им сложно выбрать посадочное место из-за исчезающей галочки: было трудно отличить ранее выбранное место от недоступного. В итоге выполнить задачу становилось почти невозможно.

Галочка исчезает, и ранее выбранные места становятся неотличимы от занятых

Можно сделать вывод: «Есть проблема с выбором посадочного места». Но с цифрами это будет звучать точнее и убедительнее: «Проблема выбора посадочного места привела к тому, что меньше половины пользователей (41%) смогли выбрать место. Также это повлияло на отношение пользователей, они оценили простоту выполнения задачи ниже среднего (4,1 при стандартном среднем значении 5,5)».

2. Проведите исследования несколько раз и сравните результаты

На каждой итерации собирайте данные вновь. Сравните, изменились ли показатели после изменений в дизайне. Ищите статистически значимые улучшения и смотрите, с чем они были связаны.

Сравнивайте показатели на каждом этапе проекта, это поможет увидеть ошибки и удачные нововведения.

3. Объективно сравните свой опыт с конкурентами

В своих отчётах Сауро и коллеги сравнивают тот или иной сайт с его ближайшими конкурентами. Это помогает объективнее увидеть преимущества и недостатки. Если сайт или продукт конкурента помогают пользователю справиться с задачей лучше, чем ваши, стоит заострить на этом внимание.

Бронирование билетов на самолёт — само по себе сложное действие, и нет ничего удивительного в том, что по пути пользователи ошибаются. Однако некоторые авиакомпании (Southwest, American) определённо лучше выстраивают этот процесс, чем другие (Frontier, Delta).

Процент успешного выполнения задачи (бронирование билетов) пользователями на сайтах разных авиакомпаний. Southwest (83%) и American (77%) лидируют, Delta (50%) и Frontier (41%) показали себя хуже всех

С помощью таких измерений можно точнее судить о том, насколько хорошо сайт справляется со своей задачей. На графике видно, что пространство для улучшений есть — даже сайт Southwest можно доработать, чтобы процент выполнения задачи был ещё выше.

4. Сравните ваши показатели со стандартными

Преимущество стандартизированных мер в том, что можно сравнивать оценки с контрольными показателями. Метрики как на уровне задач, так и на уровне исследований имеют средние или лучшие в своём классе оценки. К примеру:

  • SUS (шкала удобства использования системы): в среднем 68%.
  • SEQ (шкала-показатель сложности решения задачи пользователя): в среднем 5,5%.
  • SUPR-Q (опрос для оценки комплексной работы продукта): в среднем 50%.
  • Completion rate (показатель завершённости): в среднем 68%.

Средние оценки могут отличаться для разных отраслей: в авиабизнесе США, который сильно полагается на самообслуживание, средний балл SUPR-Q, например, составляет 81%, а не 50%.

5. Посмотрите на показатели и подумайте, что они значат для компании

Из-за плохо спроектированного UX могут упасть продажи и увеличиться число звонков в службу поддержки.

Задача — предвидеть проблемы до их возникновения и в лучшем случае — предотвратить их. Если вы обнаружите, что новый дизайн на самом деле мешает выполнению основной задачи, то должны заволноваться, ведь это может отразиться на продажах.

Если много клиентов совершают ошибки в процессе бронирования, можно ждать массу обращений в службу поддержки и недовольства пользователей. Вероятно, и услугами компании будут пользоваться реже и не порекомендуют её знакомым.

Чего не могут дать измерения показателей UX

Показатели UX — полезная вещь, но у них есть ограничения. Сауро пишет о трёх.

1. Не защищены от ошибок

Даже физические показатели вроде температуры, веса и расстояния не всегда можно измерить точно. На результат могут повлиять недостаткам измерительного прибора и способа измерения.

Ошибки случаются. Измерив показатели UX, не думайте, что получили идеально точный ответ. Вместо этого попробуйте понять, насколько точны измерения, используя статистические доверительные интервалы, и каковы источники случайного и систематического смещений.

2. Не помогут точно предсказать будущее

Метрики UX — всего лишь метрики UX. Это не хрустальный шар, который покажет, как примет продукт большая аудитория. Исследования помогают представить, будет ли продукт удобен для людей, но они не могут гарантировать результат на 100%.

3. Не говорят, что нужно делать

Некоторые думают, что результаты измерения UX укажут, что нужно делать. Это не так.

Автор твита уверен, что измерять NFS (вероятность рекомендации друзьям) бессмысленно, потому что неясно, что делать с результатами

Сауро утверждает: метрики не должны говорить, что нужно делать. Дизайнеры должны менять сайт и смотреть, изменились ли они. В противном случае дизайнеры путают независимые и зависимые переменные.

Это относится как к температуре и весу, так и к SUS и показателю завершённости. Если перестать делать измерения, потому что они не говорят, что нужно сделать, можно выбросить термометры, барометры, весы и другие приборы в помойку.

Когда меняется дизайн, уменьшается ли количество ошибок, допущенных пользователем? Смог ли он выполнить задачу за меньшее время? Стало ли его отношение к продукту лучше?

Метрики не говорят, что делать или поменять в интерфейсе. Зато, проводя исследование, можно узнать, какой элемент интерфейса вызвал путаницу и ошибки (вспомните галочку при бронировании места в самолёте на сайте Frontier).

#ux #интерфейсы

{ "author_name": "Ян Австрейх", "author_type": "self", "tags": ["\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b","\u0434\u0438\u0437\u0430\u0439\u043d","ux"], "comments": 0, "likes": 6, "favorites": 54, "is_advertisement": false, "subsite_label": "design", "id": 70797, "is_wide": false, "is_ugc": true, "date": "Mon, 10 Jun 2019 17:11:34 +0300" }
{ "id": 70797, "author_id": 192524, "diff_limit": 1000, "urls": {"diff":"\/comments\/70797\/get","add":"\/comments\/70797\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/70797"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199114, "last_count_and_date": null }

Комментариев нет 0 комм.

Популярные

По порядку

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления
{ "page_type": "default" }