Дизайн Ян Австрейх
1827

Метрика «потерянности»: зачем она нужна и как помогает понять, сложно ли ориентироваться в интерфейсе

Конспект статьи UX-аналитика Джеффа Сауро.

В закладки

Показатель потерянности

В 1996 году Патриция Смит опубликовала статью, в которой попыталась определить, что значит потеряться в гипертекстовой системе, как измерить потерянность, и предложила свою формулу для её объективного оценивания.

Показатель потерянности — это отношение между тем, что пользователь делает в действительности (сколько экранов задействует), и идеальным выполнением задачи.

Чтобы применить формулу, нужно выяснить кратчайший путь — сколько минимум экранов или действий нужно для выполнения задачи. Затем надо сравнить это число с количеством экранов, задействованных пользователем.

Формула, предложенная Смит
  • N — количество уникальных страниц, которые задействовал пользователь.
  • S — общее количество страниц, которые задействовал пользователь.
  • R — минимальное количество страниц для выполнения задачи.

Значение показателя потерянности колеблется от 0 (отсутствие потерянности) до 1 (полная потерянность).

Выведя эту формулу, Смит определила нормы для новой метрики.

Для этого она провела исследование, в ходе которого 20 участников искали информацию с помощью гипертекстовой системы одного из факультетов университета. Весь процесс снимался на камеру.

Смит посмотрела видеоролики и обнаружила, что у тех, чей показатель выше 0,5, наблюдалось потерянное поведение. Тогда она определила нормы для своей метрики: если значение выше 0,5, то пользователь потерялся, если ниже 0,4 — не потерялся, а если между 0,4 и 0,5, его статус не определён.

Повторное исследование

Спустя 22 года Джефф Сауро с коллегами валидировали показатель потерянности. Они соотнесли значения метрики потерянности с другими юзабилити-показателями.

В период с сентября по декабрь 2018 года исследователи посмотрели 73 видео пользователей, которые выполняли разные задачи: работали с сайтом банковского обслуживания, делали покупки в мобильном приложении и искали на сайте US Bank имена вице-президента и главного юрисконсульта компании.

Каждую задачу выполняли от 5 до 16 студентов. Исследователи определили кратчайший путь выполнения задачи (R), подсчитали общее количество задействованных каждым участником экранов (S) и количество открытых уникальных экранов (N). Затем они вычислили баллы потерянности.

Также пользователи оценивали лёгкость выполнения задач с помощью шкалы SEQ, а с помощью MUIQ исследователи узнали время, потраченное на решение задачи, и степень её завершённости.

Результаты исследования

Показатели участников по разным задачам суммировали и для каждого вычислили среднее. Минимальный балл потерянности составил 0,16, максимальный — 0,72 (чем выше балл, тем сильнее пользователь потерялся).

Слева направо: номер задачи, показатель потерянности, лёгкость выполнения, время выполнения, степень завершённости, процент потерявшихся участников (у которых балл потерянности выше 0,5)

Из таблицы видно, что потерянность связана с лёгкостью и временем выполнения задачи, а также со степенью завершённости.

Чем сильнее пользователь теряется (растёт показатель потерянности), тем более сложной для выполнения он оценивает задачу и тратит на неё больше времени. В таблице ниже — корреляции между разными метриками.

Строки таблицы: лёгкость выполнения, показатель завершённости и время выполнения. Столбцы: средний балл потерянности по задаче (восемь задач) и средний индивидуальный балл потерянности (73 задачи). На пересечениях даны значения корреляции между метриками «*» указывает на то, что показатель статистически важен при р-значении больше 0,05

В обоих столбцах стоят статистически значимые показатели корреляции между потерянностью, лёгкостью выполнения и временем выполнения. Чем меньше пользователи теряются, тем легче кажется им задача и меньше времени уходит на её выполнение. А вот со степенью завершённости значимых корреляций нет.

Диаграмма рассеяния показывает, как именно связаны воспринимаемая лёгкость задачи и потерянность.

Взаимосвязь между потерянностью (lostness) и лёгкостью выполнения задач (ease); r = -0,95, p-значение < 0,01. Точки обозначают восемь задач

Нормативное значение потерянности

Также Сауро с коллегами решили проверить нормы, обозначенные Смит. Исследователи узнали, всегда ли значение потерянности выше 0,5 означает, что пользователь потерялся.

Для этого они смотрели видео из описанного выше эксперимента и искали на них проявления потерянности (включение или выключение одной опции, долгий поиск нужной информации или повторный просмотр страницы).

Независимые эксперты посмотрели 55 из 73 видеороликов, определили, потерялся ли на самом деле участник, и сравнили данные с показателем потерянности, вычисленным по формуле Смит.

Столбцы слева направо: показатель потерянности, количество участников с таким показателем, количество на самом деле потерявшихся участников, процент потерявшихся от общего числа участников с таким показателем

Например, из 28 участников с нулевым баллом потерянности только одного (то есть 4% от общего числа участников) специалисты посчитали потерянным после просмотра видео. Из участников с баллом потерянности между 0,8 и 0,9 шесть из восьми человек (75% от общего числа) были определены как потерянные.

По мнению Сауро и его коллег, эти данные доказывают, что нормативные значения, выделенные Смит, работают. У действительно потерявшихся участников балл потерянности был в среднем более чем в пять раз выше, чем у тех, кто не потерялся (0,61 против 0,11; p-значение меньше 0,01).

Что выявило исследование показателя потерянности

Потерянность — это расхождение с кратчайшим маршрутом

Более 20 лет назад Смит предложила объективный показатель потерянности, для вычисления которого нужно сложить два показателя: отношение количества уникальных страниц к минимально нужному количеству страниц и отношение общего количества страниц к уникальному количеству страниц.

Чтобы воспользоваться этой формулой, нужно вычислить минимальное количество страниц или действий, необходимых для выполнения задачи (кратчайший маршрут), а также подсчитать общее количество всех экранов и количество уникальных экранов.

0 означает, что пользователь идеально ориентируется в системе (не теряется), в то время как единица указывает на то, что он сильно потерялся.

Степень потерянности можно высчитывать по формуле Смит, но только если пользователь выполнил задачу

Балл потерянности ниже 0,4 означает, что участник не потерялся, а балл выше 0,5 — что потерялся. Исследование Сауро и коллег подтвердило: нормативные значения потерянности установлены верно. 91% участников с баллом ниже 0,4 действительно не потерялись в системе, а 89% участников с баллом выше 0,5 — потерялись.

Однако нормы и баллы потерянности теряют своё значение, когда у пользователя не получается выполнить задачу, и он отказывается от неё либо задействует только часть от экранов, необходимых для выполнения задачи.

Из-за такого поведения балл потерянности уменьшается, хотя пользователь потерялся в интерфейсе. Так что перед измерением потерянности стоит посмотреть, смог ли пользователь справиться с задачей.

Лёгкость задачи напрямую связана с потерянностью пользователя

Как правило, показатели лёгкости задачи (оценки участников по семибальной шкале SEQ) объясняют разброс показателей потерянности (95%). Большинство участников, которые потерялись при выполнении какой-либо задачи, оценивали её как более сложную. Низкие оценки пользователей по шкале SEQ уже указывают на то, что нужно поискать проблемы в организации системы.

Вычислить значение потерянности у пользователя нетрудно, потому что большая часть работы по сбору данных автоматизирована

Чтобы собрать данные для подтверждения формулы, Сауро и коллегам пришлось несколько раз посмотреть все видео участников (они подсчитывали общее количество экранов и количество уникальных экранов). Но делать так не обязательно. Балл потерянности можно вычислить с помощью специальных программ (в этом исследовании часть данных собрали с помощью MUIQ).

Однако будущим исследователям всё равно нужно будет вручную подсчитать минимальное количество действий для выполнения каждой задачи. Но это полезно: в процессе вы можете выявить проблемные места системы.

Есть разница между тем, когда пользователь просто изучает сайт, и потерянностью

У всех задач, подобранных для исследования, был чёткий способ выполнения. Это были не те вещи, над которыми участникам хотелось бы посидеть подольше (или выполнить больше действий). Сауро и коллеги подобрали задачи, измеряющие продуктивность. В таком случае участники точно знают, что нужно сделать. Показатель потерянности полезно вычислять для подобных задач.

Однако задачи, в которых человек работает с целой категорией вещей, а не с конкретным предметом, требуют более вдумчивого подхода. К таким относятся выбор одежды, бытовой техники или новой книги для покупки. Обычно пользователи подолгу выбирают, что хотят купить, и это не значит, что они потерялись, хотя поведение будет похожим.

#юзабилити

{ "author_name": "Ян Австрейх", "author_type": "self", "tags": ["\u044e\u0437\u0430\u0431\u0438\u043b\u0438\u0442\u0438"], "comments": 1, "likes": 14, "favorites": 73, "is_advertisement": false, "subsite_label": "design", "id": 78893, "is_wide": false, "is_ugc": true, "date": "Mon, 12 Aug 2019 15:21:16 +0300" }
{"average":26427,"one":95,"ten":75}
Сколько денег вы откладываете в месяц?
Ответьте и узнаете, сколько копят другие.
0 ₽
70 000+ ₽
0 ₽
{ "id": 78893, "author_id": 192524, "diff_limit": 1000, "urls": {"diff":"\/comments\/78893\/get","add":"\/comments\/78893\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/78893"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199114, "last_count_and_date": null }
1 комментарий

Популярные

По порядку

14

Ничего не понял, но очень интересно.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Нейронная сеть научилась читать стихи
голосом Пастернака и смотреть в окно на осень
Подписаться на push-уведомления
{ "page_type": "default" }