Как быстро проверить UX-гипотезу: проводим немодерируемый тест в Pathway

Немодерируемое юзабилити-тестирование — способ проверки дизайн-решения, при котором респондент самостоятельно проходит сценарий, отвечает на вопросы, сравнивает интерфейсы. В отличие от модерируемых методов, проведение и анализ результатов такого тестирования могут занять 2-4 часа.

В статье разберу, как протестировать интерактивные прототипы с помощью Pathway. Это относительно новый сервис, который уже внедрили дизайнеры ВкусВилл, Циан и VK.

Расскажу, про опыт использования сервиса и поделюсь инсайтами.

Тестирование без модератора нацелено на проверку гипотез на большом количестве людей в сжатые сроки. Метод подойдет, если нужно:

Такое тестирование не поможет разобраться в причинах поведения пользователя, задать уточняющие вопросы. Для таких задач лучше провести модерируемое тестирование.

Рекомендую ознакомиться с гайдом, который предоставляет сам сервис. Отличная методичка, если нечасто проводите тестирования.

Представим, наша задача — проверить сценарий поиска похожих товаров по фотографии в карточке товара OZON.

Немодерируемое usability-тестирование не подходит для проверки сложных, ветвистых путей. Оптимально, если целевое действие прячется за 1-2 кликами.

Обратите внимание: Сервис пока поддерживает только два вида вида переходов: On Click и While Hovering. Надеюсь, в будущем можно будет тестировать более сложные прототипы.

В нашем случае, может быть несколько вариантов размещения точки входа в функционал. Например, лаконичную иконку может дополнять кнопка с текстом, пункт в «трёх точках» и т.д. Можно оставить несколько вариантов и проверить, какой из них найдут быстрее.

Чтобы результаты теста были достоверными, отключите подсказки, куда можно нажать. Для этого перейдите в режим просмотра прототипа и нажмите на иконку в шапке справа от синей кнопки. В открывшемся меню выберите вариант Hide UI.

Он нам понадобится для выгрузки прототипа. Ссылка на плагин

Несмотря на то, что у сервиса достаточно простой для обучения интерфейс есть пара важных нюансов, которые могут повлиять на результаты теста. Разберём процесс шаг за шагом.

Возможно, респондент видит ваш интерфейс впервые. Особенно, если проектируете B2B и SaaS-продукты, как в моём случае. Расскажите в паре предложений про ситуацию, например: «Представьте, вы ищете конкретный товар на маркетплейсах и нашли интересный вариант. Но вам не подходят сроки доставки».

Нажмите на первый переход сценария и создайте Flow Starting Point.

Нажмите на Flow Starting Point в сценарии и запустите плагин Pathway. Далее, увидите большую синюю кнопку Import. Нажмите на неё и дождитесь, пока магия свершится. Если у вас достаточно сложный путь, процесс обработки может занять до нескольких минут. Далее скопируйте полученный код.

Копируем полученный код и создаём блок с прототипом. Здесь же пишем сам вопрос и добавляем описание, если необходимо. Как сформулировать задания для тестирования — гайд Pathway

Нажмите на Добавить и в открывшемся окне кликните, куда должен нажать пользователь, чтобы подтвердить гипотезу. Если респондент нажмёт на нужный элемент, задание засчитается как выполненное.

Это поможет в оценке результатов теста. Например, если время выполнения покажется слишком длинным или респондент не справится с заданием.

Можно рекрутировать респондентов с помощью самого сервиса. Если в вашей компании нет бюджета на исследования, можно поделиться ссылкой в блоге продукта, в чатах, Telegram-каналах. На бесплатном тарифе доступно до 250 ответов в месяц.

Делюсь своим опытом и инсайдами от коллег.

Попросите коллегу, который хорошо знаком с фичой или участвовал в её разработке, пройти тест. Далее вы сможете опираться на его время при анализе результатов. Замерять время на себе не рекомендую, оно будет слишком коротким.

Медианное время ответа на первый вопрос часто сильно длинее, чем на последующие. Респондент впервые видит интерфейс, пытается понять, что происходит на экране. Лучше начинать тестирование с вопросов на разогрев.

В отчёте о тестировании будет указано среднее время выполнения задания и медианное. Лучше смотреть на второе. Например, время ответа на вопрос составило 10, 20, 25, 45, 510, 15 секунд. Среднее — 104 секунды, но оно не отражает действительности. Например, респондент отвлекся на звонок курьера. Здесь лучше смотреть на медиану: она составит 22,5 секунд.

Например, тест из 6 вопросов прошло 50 и более человек. Посмотреть запись экрана каждого респондента — сложная задача. Стоит обратить внимание на случаи, когда человек не справился с заданием или его время прохождения значительно превышает эталонное.

А какие инструменты используете вы? Поделитесь опытом в комментариях