Лого vc.ru

5 ключевых метрик при сравнительном юзабилити-тестировании

5 ключевых метрик при сравнительном юзабилити-тестировании

В очередном выпуске рубрики «Интерфейсы» статья известного UX-аналитика Джеффа Сауро о пяти ключевых метриках, которые стоит использовать при сравнительном юзабилити-тестировании.

Поделиться

По словам Сауро, сравнительные тесты обычно проводят для того, чтобы понять, какой продукт или веб-сайт показывает лучшие результаты применительно к метрикам юзабилити, таким как восприятие юзабилити и показатель завершенности (completion rates). Сравнению могут подвергаться как конкурирующие продукты, так и различные варианты дизайна одного и того же сервиса.

Случайные помехи

Сауро считает, что тесты интерфейсов больше похожи на научные эксперименты, чем на простое решение бизнес-задач, и сравнивает исследования юзабилити с медицинскими тестами, когда проверяется эффективность лекарств и плацебо. Аналитик говорит, что в ходе медицинских исследований ученые учитывают различные факторы — например, что в одной из групп испытуемых люди могут обладать, в среднем, более крепким здоровьем, чем члены другой. Такие факторы называются «случайными помехами» (nuisance variables).

По мнению эксперта, при проведении сравнительного тестирования юзабилити стоит применять аналогичный подход — люди, участвующие в эксперименте, могут отличаться друг от друга, и это необходимо учитывать, чтобы избежать неверных выводов о превосходстве одного продукта или варианта интерфейса над другим. В ходе взаимодействия человека и компьютера, вариативность возможностей разных людей зачастую имеет больше значения, чем различия в вариантах дизайна.

Сауро вывел пять метрик для оценки случайных помех, которые рекомендует использовать всем UX-профессионалам.

Предыдущий опыт

Один из наиболее важных факторов, который влияет на поведение пользователей во время проведения тестирования. По словам Сауро, пользователи, обладающие большим опытом, обычно завершают больше заданий в ходе тестов и делают это быстрее своих менее опытных коллег. Предыдущий опыт влияет и на восприятие текущего опыта использования интерфейса — более осведомленные пользователи чаще остаются довольны увиденным.

Отношение к бренду и продукту

Пользователи могут иметь большой опыт взаимодействия с конкретным сайтом или продуктом, но все равно относиться к ним с большим негативом. Сауро отмечает важность выявления таких «хейтеров» среди пользователей, которые будут участвовать в тестах. При этом их мнение все равно можно будет использовать — например, в случае тестирования сайта ритейл-компании, можно интересоваться отношением участников процесса к брендам вроде Walmart, Target или Best Buy, чтобы понимать, как разное отношение к ним влияет на оценку анализируемого в данный момент проекта.

Навыки в конкретной области

При работе с продуктами, использование которых требует знаний в определенных областях или специальных знаний, итоговая продуктивность работы конкретного человека будет зависеть от того, обладает ли он подобной экспертизой. Соответственно, следует предварительно выяснять уровень пользователя в определенной области, чтобы потом сделать соответствующую скидку при оценке полученной от него обратной связи.

Преемственность

Случается так, что один коммерческий продукт представляет собой часть другого, более крупного сервиса компании (простой пример — корзина или форма оплаты в интернет-магазине). Сауро призывает учитывать при тестировании то, как этот «родительский» проект влияет на исследуемый интерфейс. Общее впечатление пользователей от работы, например, с корзиной на сайте, будет зависеть и от того, как легко её на нём отыскать. Иными словами, если людям не понравится корзина, то дело может быть не в ней, а в навигации сайта. Свести риск подобного явления к минимуму можно предварительно протестировав юзабилити «родительского» продукта на предмет того, сложно ли в нем найти нужный элемент.

Порядок продуктов в ходе теста

Если участники будут взаимодействовать с не одним продуктом или сайтом во время одной тестовой сессии, важно чередовать последовательность интерфейсов, предлагаемых к работе. Эта техника называется контрбалансировкой и позволяет сохранять процент участников, которые сначала работали с продуктом А, а затем с Б, и наоборот, на одном уровне. Порядок продуктов в ходе теста может повлиять на его результаты — часто человек после первого интерфейса уже устает, и это сказывается на его восприятии следующего.

Как избежать случайных помех

Джефф Сауро также предлагает три способа избежания эффекта случайных помех или, по крайней мере, снижения их влияния на результаты тестирования.

Балансировка метрик

Интуитивно понятный метод, который, вследствие этого, является самым популярным. После определения факторов, которые могут оказать влияние на результаты тестирования, следует сделать так, чтобы в исследовании приняли участие одинаковое количество людей, подверженных каждому из них. Звучит просто только на первый взгляд, поскольку обычно в проекте не предусмотрено больших бюджетов на рекрутинг значительного количества участников тестирования. К тому же, иногда просто физически невозможно найти достаточно людей, которые, к примеру, регулярно пользуются iPhone, но ни разу не заказывали ничего на Amazon.

Разделение и оценка

При наличии «сбалансированных» и «обычных» групп пользователей, исследователи могут проводить два круга тестов и оценивать влияние описанных выше факторов на их результаты. Например, если разделить группы на подгруппы из более опытных пользователей и менее опытных или тех, кто позитивно относится к бренду и не любит его, то можно четко увидеть разницу в выходных данных. Имея такие показатели, полученные в ходе работы с подгруппами, возможно составление взвешенного композитного показателя. Например, если исследователи точно знают, что 50% пользователей обладают более чем пятилетним опытом использования тестируемого продукта, но в текущей выборки таких всего 44%, результатам можно придать соответствующий вес.

Статистический контроль

Сауро говорит о существовании нескольких статистических техник, которые позволяют выделять нежелательное влияние того или иного фактора. Один из самых популярных подобных методов называется ANCOVA (Analysis of Covariance — ковариационный анализ) — это одна из форм более известной техники ANOVA (Analysis of Variance — вариантный анализ). С помощью данного метода можно оценить дисперсию показанных разными группами результатов. Методы ANOVA и ANCOVA требуют разнообразных вычислений, поэтому использовать их без специального софта не получится.

В заключение, Джефф Сауро говорит, что сравнительный анализ юзабилити требует предварительного планирования и понимания того, как различные факторы могут влиять на конечный результат. В случае любых сомнений эксперт советует применять все метрики, которые могут оказаться важными в конкретной ситуации — по его мнению, только так можно снизить эффект «нежелательных помех».

Редакция ЦП попросила отечественных экспертов прокомментировать выводы Джеффа Сауро:

Макс Десятыхкреативный директор Redmadrobot

Сравнительное исследование юзабилити звучит как булщит; объясню, почему.

Юзабилити-тестирование решает ту же задачу, что и любое другое тестирование — выявляет ошибки, а именно ошибки, допущенные при проектировании интерфейса. После такого тестирования вырабатываются решения и проблемы устраняются.

Если есть непреодолимое желание проверить результат снова, то это можно сделать еще раз с новой группой респондентов и получить новые результаты. В большинстве случаев мы увидим заметное улучшение показателей, хотя вполне может быть рецидив старых ошибок (значит они не были правильно устранены), либо проявятся новые (регресс). Дальше понятно, что делать, — исправлять.

Исправление ошибок — понятная задача. Но для чего нужно сравнение двух интерфейсов по количеству ошибок? Выбрать наименьшее из зол?

Если есть задача выбрать, то сравнивать нужно не интерфейсы, а продукты. Не по юзабилити, а по бизнес-показателям (обычно это деньги). По-взрослому — с учетом факторов влияния и по когортам.

Сравнительное исследование юзабилити — это, видимо, какая-то игра, выдуманная «юзабилистами» для выяснения, кто круче или красивого представления своей работы начальству ради оправдания своего существования.

Александр Лисовскийменеджер продукта ZZ Photo

Не соглашусь с тезисом про отношение к продукту. Mail.ru, несмотря на весь противоречивый путь становления компании, может выпускать качественные продукты — например Cloud.Mail.ru — и для того, чтобы в этом убедиться не обязательно побывать в офисе-небоскребе компании. Можно просто попробовать использовать продукт.

Автомобильный бренд SSangYong появился на рынке совместно с китайскими брендами Chery и Geely. Но первая минута общения с менеджером бренда переворачивает сложившееся мнение, поскольку он сразу говорит о том, что завод находится в Корее, что позволяет держать качество наравне с корейцами из Kia и Hyundai. Еще один аргумент против этого тезиса — история эволюции качества смартфонов Android.

Что касается утверждения о разном уровне знаний в конкретной области. Я имел опыт внедрения системы автоматизации органов государственной власти. И склонен считать, что привычки пользователей могут сыграть злую шутку, так как глубинный опыт специалистов внутри одной отрасли может быть кардинально противоположным. В нашем случае часть пользователей из разных областей использовали по старинке бумажные карточки, другая их часть пользовалась самописными приложениями, третья часть — освоила передовые наработки Lotus Notes, Oracle и т.д. Их опыт был уникален в каждой следующей территориальной области, но общий знаменатель подвести было крайне затруднительно.

На примере продуктовой линейки Adobe (Photoshop, Illustrator, InDesign) необходимость преемственности продуктов одной компании ощущается особенно остро. Это касается и инструментов, и горячих клавиш по умолчанию, которые порой работают абсолютно по разному. С другой стороны — разношерстность программных продуктов Apple в iOS 6 не мешала их эффективному использованию.

В остальном, одним из пунктов для сравнительного анализа я бы хотел видеть категоризацию целевых аудиторий, принимающих участие в тестировании. Для меня, как менеджера продукта, важен конкретный список целей, которые достиг и не достиг пользователь, а также его удовлетворенность. Необходимо понять важны ли заложенные функции для пользователя, или не он может прожить без них. И, конечно, необходимо изучать ожидания пользователей от пользования продуктом.

Статьи по теме
Как изменение направления баров может влиять на восприятие данных в инфографике02 июля 2014, 18:59
Почему результаты удачных A/B тестов в реальности не так хороши11 июня 2014, 14:54
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

По метрикам. Номером шесть стоит добавить эмоциональный фон, который тоже нужно определять и учитывать — по влиянию на результаты он может затмить все остальные факторы.

По комментарию Макса. Всё верно, тестирование выявляет ошибки, которые нужно исправлять. Но насколько часто решение проблемы бывает очевидным? Насколько часто есть уверенность в этом решении до его реализации? Сравнительный анализ показывает, какие средства достигают целей и справляются с задачами, а какие нет. То есть, в результате анализа выявляются конкретные направления решения проблем или сами решения.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Vsevolod Volchansky
Chat Helpdesk

Ему про Фому, он про Ерему))

«Тинькофф банк» анонсировал открытие сети центров разработки
0
FrostBite
ProGamer.ru

Всем. Я за нацию технологий и творчества.

Власти России намерены снизить беспошлинный порог для ввоза интернет-посылок до 500 евро с середины 2018 года
0
Alex Samoylenko

Кандидатам на лучшую мобильную игру в Минске передает привет лучшая мобильная игра в Минске) шучу) Андрей, Ксения, вы молодцы! Игра крутая.

Mushroom Wars 2: рассказ российских разработчиков о том, какой путь прошла игра от концепта до релиза
0
reggaejunkiejew

так в том и вопрос, в статье вообще не сказано чего они там такие умные и красивые настартапили и на антрепренировали.

Дом, который построил Питер Тиль
0
Anton Kuchumov
WorkOut

Спасибо, из всего списка как раз хотел начать с неё.

Лучшие книги 2016 года — выбор Билла Гейтса
0
Показать еще