Вкусный и здоровый гайд по юзабилити-тестированиям

В этой статье будет подробно рассказано о том, как проводить удаленное модерируемое юзабилити-тестирование на наглядном примере

Расскажу вам историю о том, как непродуманный интерфейс помешал мне сделать покупку.

Однажды знакомый посоветовал почитать книгу Робертса “Шантарам”, он так ярко и красочно рассказывал, что заинтересовал меня не на шутку. Придя домой, я стал искать книгу в интернет-магазине Лабиринт. Вот только незадача - я не записал название и забыл, как правильно оно пишется. В голове крутилось то ли “Шантрам”, то ли “Шанторам”, то ли “Шонтарам”. Искать по фамилии автора я даже не пытался - писателей с фамилией “Робертс” ни один десяток.

Я ввел в поисковой строке “Шантрам” и получил коллекцию книг про “шатры”. Это меня озадачило.

Попробовал “Шанторам” - опять мимо. Думаю вы уже догадались, что и третья попытка провалилась. Я расстроился. Что делать? То ли я не то ввожу, то ли в магазине книги нет. Но я упорный. Так просто не сдаюсь.

Я открыл еще несколько книжных интернет-магазинов и попробовал ввести в каждом “Шантрам”. Бинго! Из трех магазинов, один нашел “Шантарам” Робертса, несмотря на то, что я переврал название. Как я был рад. Времени на поиски потратил много, но в итоге нашел желаемое и купил книгу.

А в Лабиринте, кстати, книга была, просто поиск у него работает так, что если ошибешься, то ничего не найдешь. Такое часто встречается в интернет-магазинах.

В целом интерфейс Лабиринта хорош, но казалось бы проблема в поисковом алгоритме привела к потере клиента и падению конверсии. Обидно, досадно! Этого можно было бы избежать, если провести юзабилити-тестирование на пользователях и исправить обнаруженные проблемы.

Юзабилити-тестирование - один из самых эффективных методов проверки удобства интерфейса. К участию в таком исследовании привлекают реальных пользователей продукта. Этот метод действенный и показательный, потому что никто не найдет проблемы в интерфейсе лучше, чем те, кто им пользуются.

Тестирование организует юзабилити-специалист, который планирует исследование, проводит сессии тестирования, анализирует результаты и пишет отчет.

Мы в компании “Ю-эксперт” специализируемся на юзабилити-услугах и особое место среди них занимает юзабилити-тестирование. В этой статье мы познакомим вас ближе с этим методом и подробнее расскажем как он работает.

Что можно узнать благодаря юзабилити-тестированию

Для каких продуктов подходит

Тестировать можно любые продукты, с которыми работают пользователи и это не только компьютерные интерфейсы:

В каких отраслях применяется

Юзабилити-тестирование применимо во многих отраслях, но чаще всего его используют интернет-магазины, банки и финансовые организации, сотовые компании, государственные структуры, онлайн-сервисы предоставляющие услуги, например: обучение английскому, продажа электронных билетов и тп.

Юзабилити-тестирование используется для:

Виды юзабилити-тестирований:

Качественное - в таком исследовании участвует по 6-8 человек на каждый сегмент целевой аудитории. Основная задача исследования - найти проблемы и их причины, определить потребности пользователей и способы их удовлетворения. В качественном тестировании всегда участвует модератор (юзабилити-специалист), он голосом дает пользователю задания и общается с ним в процессе тестирования.

Качественное тестирование проводят:

Количественное - в таком исследовании обычно участвует более 50 респондентов, часто число достигает 200 и более. Основная задача такого тестирования - проверить как часто пользователи сталкиваются с теми или иными проблемами в интерфейсе. Здесь сложно получить ответ на вопросы “почему” и “каким образом”, зато узнаете насколько проблемы критичны и как часто встречаются. Каждое такое тестирование проходит без непосредственного участия модератора. Пользователь самостоятельно заходит в программу для тестирования и последовательно выполняет задания, которые выводятся на экране. После каждого задания участник отвечает на несколько вопросов. Дополнительно ведется запись экрана, а иногда даже голоса респондента. Количественное тестирование обычно проводят через специальный сервис.

Количественное тестирование никогда не заменит качественное и наоборот. Они гармонично дополняют друг друга отвечая на разные вопросы. Качественное - на вопросы “почему, каким образом, в чем заключается проблема”, а количественное - “как часто, насколько критично”.

Если у компании есть бюджет только на один вид тестирования, то мы советуем начинать с качественного, так как оно найдет проблемы, а затем переходить к количественному, которое определит, насколько проблемы критичны.

Помимо перечисленных вариантов юзабилити тестирование можно комбинировать с другими типами исследований, например, с глубинным интервью, карточной сортировкой, наблюдением и тп.

Плюсы юзабилити-тестирования:

Минусы юзабилити-тестирования:

Прежде чем начинать юзабилити-тестирование определитесь с целями и объектом тестирования. Этот этап нужен всегда, включая случай, когда тестирование проводится внутри компании без привлечения внешних специалистов.

На встрече с бизнесом обсуждаем:

Примеры вопросов бизнесу

Пример: сервис доставки пиццы

Представьте, что нужно провести юзабилити-тестирование сервиса доставки пиццы и роллов. У компании есть сайт, мобильная версия сайта и мобильное приложение. Бюджет и время ограничены, поэтому нужно выбрать только один интерфейс для тестирования. Посмотрев аналитику сайта (yandex или google), специалист увидел, что наиболее востребован мобильный сайт, поэтому с него он будет начинать тестирование.

На встрече с бизнесом были обозначены три основные задачи для тестирования:

Состав участников тестирования зависит от задач бизнеса. На исследование можно приглашать как существующих клиентов, так и потенциальных пользователей.

Если цель бизнеса привлечь новых пользователей или заинтересовать клиентов конкурирующей компании, то на тестирование стоит приглашать респондентов, которые еще не работали с продуктом, но он может быть им интересен.

Например, для исследования личного кабинета сайта онлайн-обучения английскому языку, мы пригласили респондентов из двух групп - новичков, которые изучают язык на этом сайте не больше месяца и опытных пользователей, которые занимаются больше полугода и знакомы с личным кабинетом. Часть заданий для этих групп повторялись, а часть отличались. Например, новые пользователи покупали подписку на курс английского, а опытные - продлевали.

Сколько человек приглашать на юзабилити-тестирование

Якоб Нильсен, один из основоположников юзабилити, писал, что 5 пользователей находят 85% проблем в интерфейса. Мы склоняемся к тому, чтобы приглашать по 8 человек из каждой целевой группы, так как это позволит обнаружить 95% проблем.

Если тестирование проводится для двух и более сегментов целевой аудитории, то из каждого приглашают по 4-6 человек, в зависимости от того, насколько сильно они отличаются. Например, если группа 1 никогда не работала с продуктом, а группа 2 состоит из опытных пользователей, то из каждой нужно взять минимум по 5-6 человек.

Пример: каких пользователей пригласить на тестирование сервиса доставки пиццы

Теперь заказчику нужно определиться с целевой аудиторией. Если в компании есть специалисты, которые непосредственно общаются с пользователями, то они могут помочь с портретами клиентов. Также хорошим подспорьем будет статистика на сайте. Требования к участникам тестирования прописываются в “скринере”.

В случае с доставкой еды аудитория будет широкой, многие любят пиццу и роллы. Основной критерий для набора респондентов можно сформулировать так: пользователь заказывал роллы или пиццу с доставкой хотя бы раз в течение трех месяцев.

Можно пригласить 4 опытных пользователей, которые хотя бы 1-2 раза в месяц заказывают еду через мобильный сайт и 4 неопытных пользователей, которые делают заказы реже раза в месяц.

В случае с пиццерией достаточно 8 пользователей:

Вознаграждение респондентам

Важно помнить, что участники тестирования не будут работать на чистом энтузиазме, их надо поощрять. В зависимости от проекта вознаграждение варьируется.

Самое банальное - деньги. Обычно за участие в тестировании мы платим 1000-1500 руб. Но это не всегда лучший вариант, так как можно попасть на пользователей, которые будут тестировать только в целях заработать.

Самый лучший респондент тот, кому интересен продукт. Поэтому, если можно наградить участника непосредственно тем, что предлагает компания, на тестирование придут самые заинтересованные пользователи.

Например, если тестируется интернет-магазин для кошек и собак, то респонденту дают купон на определенную сумму для приобретения любых товаров на сайте. Если тестируются курсы английского языка, то пользователь получает несколько бесплатных уроков. Если важно привлечь пользователей, которые не являются фанатами продукта, то тогда предлагайте денежное вознаграждение.

Пример: какое вознаграждение использовать для респондентов, тестирующих сервис доставки пиццы

В случае с доставкой пиццы и роллов респондент во время исследования может заказать настоящую пиццу и роллы, которые съест после тестирования, плюс его наградят дополнительным купоном на будущий заказ.

Важный этап исследования - это создание сценария тестирования. Его могут называть по-разному и “скрипт”, и “гайд” и “сценарий”, и “вопросы тестирования”.

Сценарий тестирования в чем-то похож на сценарий фильма. В нем прописываются все основные вопросы, который модератор задает пользователю, действия, которые в идеальной ситуации должен совершить пользователь и критерии, по которым мы считаем эти действия успешными или нет. Как и в случае с кино, без сценария тестирование не проводят.

Основные разделы сценария

Пример сценария для тестирования сервиса доставки пиццы

Вступительная часть сценария стандартная. Здесь модератор рассказывает респонденту, что тестировать будут не его способности, а интерфейс. В зависимости от целей исследования пользователя просят комментировать выполнение задач или хранить молчание. Второй метод используется, когда необходимо замерить время выполнения задания. Тогда комментарии респондент дает уже после выполнения задания.

Пользователя обязательно спрашивают не против ли он, если тестирование будет записываться на видео. А также просят хранить детали тестирования в тайне, если это важно для заказчика.

Вводные вопросы:

Сформулируем первую задачу сценария

Представьте, что к вам скоро придут ваши друзья. У вас будет компания из 4 человек. Закажите на компанию пиццу и напитки через этот сервис.

Зададим вопросы после выполнения задания

Далее замеряем метрики, после задания

Подробнее мы рассмотрим метрики далее, а в данном случае замерим следующие:

Кроме представленных в примере метрик, можно замерять и другие. Подробнее о них мы расскажем дальше в статье.

Завершающие вопросы

После тестирования сервиса доставки пиццы у пользователя можно спросить:

Далее можно измерить несколько метрик, если есть необходимость и завершить тестирование, выразив пользователю благодарность за участие.

Обычно во время юзабилити тестирования специалист замеряет несколько метрик. В зависимости от конкретного проекта и типа тестирования они варьируются. Но есть одна метрика, которая замеряется всегда - успешность.

Успешность - удалось ли пользователю выполнить задание. Обычно она отмечается как 1 для ответа “Да” и как 0 для ответа “Нет”.

Время выполнения. Время с одной стороны понятие объективное - его можно измерить секундами, минутами, часами. С другой стороны субъективное, так как один и тот же промежуток времени может показаться человеку длинным или коротким.

В юзабилити тестировании в зависимости от задачи можно измерять объективное и/или субъективное время. В некоторых случаях и задачах время вообще не измеряется. Например, если мы имеем дело с игрой. Задача игры - это убить время и/или потратить время на то, чтобы расслабиться, поэтому измерять время здесь можно только на этапе регистрации и не более того.

Когда применяется объективное время и как оно измеряется:

Когда применяется субъективное время и как оно измеряется:

Сложность. Это субъективная метрика, которая определяет, насколько было сложно или легко выполнять задание. Пример вопроса:

“Насколько сложно было выполнять это задание? Оцените по пятибалльной шкале, где 1 - очень легко, а 5 - очень сложно”.

В зависимости от продукта и целей исследования вопросы можно задавать тем или иным образом.

В отдельных исследованиях мы используем SUM (Single Usability Metrics). Идея данной оценки - свести все юзабилити-метрики к одной и таким образом получить инструмент для сравнения. В этой оценке учитываются метрики разной размерности - время (в секундах), показатель ошибок (в штуках), завершенность задания (бинарный показатель), усредненный показатель удовлетворенности (баллы Ликера). Чтобы не складывать секунды со штуками, основатель этой системы Джеф Соро предлагает привести все показатели к безразмерной шкале. Для вычисления SUM используется специальный калькулятор (его можно найти в интернете или скачать специальный файл excel).

Кроме перечисленных можно измерять другие, такие как: семантический дифференциал, количество ошибок, критичность ошибок и тп. Это обширная тема для обсуждения, мы постараемся рассказать о ней в отдельной статье.

Пример: сервис доставки пиццы

Для тестирования мобильной версии сайта сервиса доставки пиццы мы выбрали следующие метрики.

После завершения всех сессий тестирования модератор считает среднее значение для каждой метрики по всем респондентам и обращает внимание на те, которые вышли из диапазона.

Самая важная метрика - успешность. В идеальной ситуации, все 8 пользователей должны выполнить задание. Если хотя бы 1 респондент не справился с заданием, интерфейс нужно дорабатывать.

Вторая важная метрика - сложность. Если сложность получилась между 1 и 2, то все хорошо, но если она больше 2, то на интерфейс нужно обратить внимание. Если сложность колеблется между 4 и 5, то нужно обратить на эту задачу пристальное внимание.

Третья по важности метрика - время. Если субъективное время находится между 1 и 2, то это хороший знак, если оно больше 2, то стоит обратить внимание.

После того, как сценарий написан и утвержден бизнес-заказчиком важно провести пилотное тестирование. У него есть несколько целей:

К “пилоту” желательно привлекать пользователя из целевой аудитории, тогда оно будет наиболее приближено к реальному тестированию. Если такой возможности нет, то можно тестировать коллегу или знакомого, который наиболее близок к целевой аудитории.

Иногда во время пилота выясняется, что нужно:

Таким образом, пилотное тестирование - необходимая часть процесса.

После пилотного тестирования и рекрутирования нужно составить график тестирований. Для комфорта пользователя и качественных результатов каждая сессия тестирования должна длится не более часа. Однако, на каждое тестирование нужно закладывать 1,5-2 часа, так как пользователь может опоздать к началу или сессия тестирования затянуться.

В случае очного тестирования заказчик может наблюдать процесс из соседней комнаты, если тестирование удаленное, то он подключается к zoom или skype, а также может посмотреть тестирование в записи.

Пример: юзабилити тестирование сервиса доставки пиццы

Юзабилити тестирование сервиса доставки пиццы было решено проводить на мобильном телефоне, так как мобильной версией сайта пользуется больше половины клиентов. Тестирование проводится удаленно на мобильном телефоне респондента.

Программа, через которую проводится тестирование должна уметь расшаривать экран и вести видеозапись. В качестве инструментов мы выбрали Skype и Zoom. Предпочтительно иметь в распоряжении две программы, так как одна может не работать на устройстве респондента.

При звонке пользователю рекрутер предупреждает, что тестирование будет удаленным, оно будет длиться около часа и для этого нужно приложение Zoom или Skype, установленное на телефон.

Модератор созванивается с пользователем и просит его расшарить экран телефона через приложение, а также включает запись.

Во время тестирования важно, чтобы модератор не подсказывал пользователю и не помогал выполнять задания. Модератор может отвечать на вопросы пользователя и помочь разобраться с продуктом только после окончания тестирования или в отдельных случаях после выполнения задания.

После завершения сессий юзабилити-тестирования специалист работает с данными, полученными на тестировании, и пишет отчет. Для этого он:

Пример: усредненные метрики после тестирования сервиса доставки пиццы (8 участников тестирования)

В этом тестировании измерялись:

Успешность (1 - выполнил, 0 - не выполнил). В таблице обычно отмечают, сколько респондентов справилось с заданием.

Субъективное время по 5-балльной шкале, где 1 - потратил очень мало времени, 5 - потратил очень много времени.

Сложность по 5-балльной шкале, где 1 - было очень легко, 5 - было очень сложно.

Примеры цитат пользователей из тестирования:

“Я бы никогда здесь не стала заказывать пиццу. Вот как заказать сет? Я не понимаю. Тут просто название пиццы “Деревенская”. А что в нее входит? Не понятно. И главное не нажать никуда и не посмотреть. Честно говоря у меня нет времени искать ее в каталоге и смотреть состав. Я бы уже на другой сайт ушла”

“Ой, я нажала на сеты роллов и суши, а он мне тут игральные карты и туалетную бумагу предлагает. Вот умора. Я бы уже ушла с сайта, честное слово”

После анализа видеозаписей и метрик специалист пишет отчет о тестировании, который состоит обычно из следующих разделов:

Рассмотрим подробнее разделы отчета на примере тестирования сервиса заказа пиццы.

Пример: отчет о юзабилити-тестировании сервиса заказа пиццы

Сначала идет описание методологии тестирования. Здесь кратко описывается метод тестирования и процедура, а также используемые метрики.

Кратко описывается сценарий тестирования: вводные вопросы, на которые пользователь отвечал до начала тестирования, а также перечисляются задачи.

Далее отдельным слайдом идет описание участников тестирования без указания их персональных данных. Можно указывать только основные параметры, например: город проживания, возраст, опыт заказа пиццы и тп.

Затем слайд с общими выводами о юзабилити-тестировании сервиса. Здесь вкратце описываются наиболее критичные проблемы и приводится таблица с метриками.

Далее в отчете подробно описываются проблемы, возникшие при выполнении каждого из заданий. Дается подробная разбивка по экранам. Для каждой проблемы специалист выставляет критичность от 1 до 3, где 1 - низкая критичность, 2 - средняя, 3 - высокая. Критичными считаются проблемы, которые могут привести к отказу от покупки и возникают у большинства пользователей. Их нужно устранять в первую очередь.

Юзабилити-тестирование помогает найти проблемы в интерфейсе, “побывать в голове пользователя” и понять, как он работает с продуктом. Нужно иметь в виду, что по результатам исследования юзабилити-специалист не сможет перепроектировать интерфейс, он даст советы, как это сделать, а дальше нужно привлекать проектировщиков, дизайнеров и программистов.

К юзабилити-тестированию стоит относиться как диагнозу, который дает врач, а дальше начинать “лечение продукта” в соответствии с рекомендациями.

Юзабилити-тестирование процедура многоразовая. Его нужно повторять регулярно, особенно после таких важных этапов, как проектирование, редизайн и тп.

Для большего погружения в юзабилити-тестирования советую почитать книгу Стива Круга “Не заставляйте меня думать”, пройти курс по юзабилити на одном из порталов онлайн-обучения или обратиться в юзабилити-агентство, которое проведет тестирование за вас.

В случае, когда нет возможности провести юзабилити-тестирование (например, нет времени или не хватает бюджета), мы советуем заказать юзабилити-экспертизу интерфейса. Она поможет найти основные проблемы в продукте и получить рекомендации, как их устранить.

Полезные материалы по теме

Эскпресс юзабилити-тест для компании O’STIN - https://uexpert.ru/yuzabiliti-testirovanie-mobilnogo-prilozheniya-o-stin/

5 способов проверки эффективности юзабилити-характеристик вашего сайта - https://uexpert.ru/5-sposobov-proverki-effektivnosti-yuzabiliti-harakteristik-vashego-sajta/

Юзабилити-аудит сайта: полный гид + примеры

https://uexpert.ru/yuzabiliti-audit-sajta-polnyj-gid-primery/

Обучение по теме

Курс по юзабилити-тестированию PRO – обучаем проводить юзабилити-тестирование на самом высоком уровне и уверенно и аргументированно представлять его результаты Заказчику.

UX-школа Артема Кузнецова – обучаем за 3 месяца всем основным методам UX-исследований, теория и практика, международный сертификат.

UX-стажировка в компании Ю-эксперт – бесплатная практика в реальных проектах под руководством опытных специалистов.