Метрика «потерянности»: зачем она нужна и как помогает понять, сложно ли ориентироваться в интерфейсе

Конспект статьи UX-аналитика Джеффа Сауро.

В 1996 году Патриция Смит опубликовала статью, в которой попыталась определить, что значит потеряться в гипертекстовой системе, как измерить потерянность, и предложила свою формулу для её объективного оценивания.

Показатель потерянности — это отношение между тем, что пользователь делает в действительности (сколько экранов задействует), и идеальным выполнением задачи.

Чтобы применить формулу, нужно выяснить кратчайший путь — сколько минимум экранов или действий нужно для выполнения задачи. Затем надо сравнить это число с количеством экранов, задействованных пользователем.

Значение показателя потерянности колеблется от 0 (отсутствие потерянности) до 1 (полная потерянность).

Выведя эту формулу, Смит определила нормы для новой метрики.

Для этого она провела исследование, в ходе которого 20 участников искали информацию с помощью гипертекстовой системы одного из факультетов университета. Весь процесс снимался на камеру.

Смит посмотрела видеоролики и обнаружила, что у тех, чей показатель выше 0,5, наблюдалось потерянное поведение. Тогда она определила нормы для своей метрики: если значение выше 0,5, то пользователь потерялся, если ниже 0,4 — не потерялся, а если между 0,4 и 0,5, его статус не определён.

Спустя 22 года Джефф Сауро с коллегами валидировали показатель потерянности. Они соотнесли значения метрики потерянности с другими юзабилити-показателями.

В период с сентября по декабрь 2018 года исследователи посмотрели 73 видео пользователей, которые выполняли разные задачи: работали с сайтом банковского обслуживания, делали покупки в мобильном приложении и искали на сайте US Bank имена вице-президента и главного юрисконсульта компании.

Каждую задачу выполняли от 5 до 16 студентов. Исследователи определили кратчайший путь выполнения задачи (R), подсчитали общее количество задействованных каждым участником экранов (S) и количество открытых уникальных экранов (N). Затем они вычислили баллы потерянности.

Также пользователи оценивали лёгкость выполнения задач с помощью шкалы SEQ, а с помощью MUIQ исследователи узнали время, потраченное на решение задачи, и степень её завершённости.

Показатели участников по разным задачам суммировали и для каждого вычислили среднее. Минимальный балл потерянности составил 0,16, максимальный — 0,72 (чем выше балл, тем сильнее пользователь потерялся).

Из таблицы видно, что потерянность связана с лёгкостью и временем выполнения задачи, а также со степенью завершённости.

Чем сильнее пользователь теряется (растёт показатель потерянности), тем более сложной для выполнения он оценивает задачу и тратит на неё больше времени. В таблице ниже — корреляции между разными метриками.

В обоих столбцах стоят статистически значимые показатели корреляции между потерянностью, лёгкостью выполнения и временем выполнения. Чем меньше пользователи теряются, тем легче кажется им задача и меньше времени уходит на её выполнение. А вот со степенью завершённости значимых корреляций нет.

Диаграмма рассеяния показывает, как именно связаны воспринимаемая лёгкость задачи и потерянность.

Также Сауро с коллегами решили проверить нормы, обозначенные Смит. Исследователи узнали, всегда ли значение потерянности выше 0,5 означает, что пользователь потерялся.

Для этого они смотрели видео из описанного выше эксперимента и искали на них проявления потерянности (включение или выключение одной опции, долгий поиск нужной информации или повторный просмотр страницы).

Независимые эксперты посмотрели 55 из 73 видеороликов, определили, потерялся ли на самом деле участник, и сравнили данные с показателем потерянности, вычисленным по формуле Смит.

Например, из 28 участников с нулевым баллом потерянности только одного (то есть 4% от общего числа участников) специалисты посчитали потерянным после просмотра видео. Из участников с баллом потерянности между 0,8 и 0,9 шесть из восьми человек (75% от общего числа) были определены как потерянные.

По мнению Сауро и его коллег, эти данные доказывают, что нормативные значения, выделенные Смит, работают. У действительно потерявшихся участников балл потерянности был в среднем более чем в пять раз выше, чем у тех, кто не потерялся (0,61 против 0,11; p-значение меньше 0,01).

Более 20 лет назад Смит предложила объективный показатель потерянности, для вычисления которого нужно сложить два показателя: отношение количества уникальных страниц к минимально нужному количеству страниц и отношение общего количества страниц к уникальному количеству страниц.

Чтобы воспользоваться этой формулой, нужно вычислить минимальное количество страниц или действий, необходимых для выполнения задачи (кратчайший маршрут), а также подсчитать общее количество всех экранов и количество уникальных экранов.

0 означает, что пользователь идеально ориентируется в системе (не теряется), в то время как единица указывает на то, что он сильно потерялся.

Балл потерянности ниже 0,4 означает, что участник не потерялся, а балл выше 0,5 — что потерялся. Исследование Сауро и коллег подтвердило: нормативные значения потерянности установлены верно. 91% участников с баллом ниже 0,4 действительно не потерялись в системе, а 89% участников с баллом выше 0,5 — потерялись.

Однако нормы и баллы потерянности теряют своё значение, когда у пользователя не получается выполнить задачу, и он отказывается от неё либо задействует только часть от экранов, необходимых для выполнения задачи.

Из-за такого поведения балл потерянности уменьшается, хотя пользователь потерялся в интерфейсе. Так что перед измерением потерянности стоит посмотреть, смог ли пользователь справиться с задачей.

Как правило, показатели лёгкости задачи (оценки участников по семибальной шкале SEQ) объясняют разброс показателей потерянности (95%). Большинство участников, которые потерялись при выполнении какой-либо задачи, оценивали её как более сложную. Низкие оценки пользователей по шкале SEQ уже указывают на то, что нужно поискать проблемы в организации системы.

Чтобы собрать данные для подтверждения формулы, Сауро и коллегам пришлось несколько раз посмотреть все видео участников (они подсчитывали общее количество экранов и количество уникальных экранов). Но делать так не обязательно. Балл потерянности можно вычислить с помощью специальных программ (в этом исследовании часть данных собрали с помощью MUIQ).

Однако будущим исследователям всё равно нужно будет вручную подсчитать минимальное количество действий для выполнения каждой задачи. Но это полезно: в процессе вы можете выявить проблемные места системы.

У всех задач, подобранных для исследования, был чёткий способ выполнения. Это были не те вещи, над которыми участникам хотелось бы посидеть подольше (или выполнить больше действий). Сауро и коллеги подобрали задачи, измеряющие продуктивность. В таком случае участники точно знают, что нужно сделать. Показатель потерянности полезно вычислять для подобных задач.

Однако задачи, в которых человек работает с целой категорией вещей, а не с конкретным предметом, требуют более вдумчивого подхода. К таким относятся выбор одежды, бытовой техники или новой книги для покупки. Обычно пользователи подолгу выбирают, что хотят купить, и это не значит, что они потерялись, хотя поведение будет похожим.

#юзабилити