Лого vc.ru

На какие вопросы нужно ответить перед началом юзабилити-тестирования

На какие вопросы нужно ответить перед началом юзабилити-тестирования

Каждую неделю ЦП выбирает самые интересные и актуальные темы мира юзабилити и UX, дополняя их мнением ведущих отечественных экспертов. В очередном выпуске рубрики «Интерфейсы» статья известного UX-аналитика Джеффа Сауро о том, на какие вопросы стоит ответить перед тем, как приступить к проведению юзабилити-тестов и измерению их результатов, а также мнение на этот счет Артема Геллера («Лаборатория Артема Геллера») и Ольги Павловой (совладелец КБ «Собака Павлова»).

Поделиться

Работая с клиентами, профессионалы измеряют не только юзабилити. Оценка лояльности, эмоционального состояния и степени осведомленности о бренде также важны для понимания опыта взаимодействия пользователя с продуктами и услугами компании.

Как это измеряют сейчас

Наверняка кто-то уже сталкивался с подобной задачей раньше, поэтому логично воспользоваться имеющим опытом. Прежде чем бросаться в бой, профессионалы изучают опубликованную литературу и статьи других исследователей, в которых те рассказывают о ходе своих работ. Это делается для того, чтобы сравнить формулировки вопросов при тестировании с пользователями и другие методы проведения исследований.

К примеру, в случае необходимости проведения тестирования для бренда автомобилей класса «люкс», с помощью профильной литературы можно выяснить какие слова на веб-сайте воспринимаются пользователями более и менее «люксово», а также найти информацию о том, использовались ли эти данные при работе с автомобильной тематикой. 

С чем можно сравнить результат

Найти способ измерить какой-либо показатель — довольно важно, но для того, чтобы сделать метрику еще более значимой, ее нужно с чем-нибудь сравнить. В идеале, для этого используются справочные базы данных, исторические данные и информация о принятых в конкретной индустрии показателях. В частности, поэтому был создан специальный опросник, с помощью которого легко можно сравнить результаты своего проекта со значениями, показанными другими сайтами. Для программного обеспечения или приложений рекомендуется использовать Системную шкалу юзабилити (SUS), а в случае необходимости измерения степени осведомленности пользователей о бренде, хорошо подходит метрика Net Promoter Score — оба этих метода широко применяются многими профессионалами, поэтому найти справочную информацию для сравнения будет нетрудно.

Если же данных, с которыми можно было бы сопоставить результаты тестирования, не существует, то стоит провести два сравнительных исследования вместо одного. Например, для измерения удовлетворенности клиентов интерфейсом продукта, вместо простого подсчета параметров, можно сравнить результаты с конкурирующими разработками.

Насколько надежны и обоснованы измерения

Надежность и обоснованность данных часто используют как синонимы. Тем не менее оба этих понятия имеют оттенки значений, которые важно понимать при проведении тестирования. Надежность относится к повторяемости измерений с течением времени — если не изменятся внешние условия, то пользователи дадут те же самые ответы на вопросы в будущем, что и при текущих тестах. Если же такой уверенности нет, то понять, хороши или плохи вносимые в продукт изменения, довольно тяжело.

Существует несколько метрик надежности: устойчивость результатов теста (определяется с помощью повторного тестирования), внутренняя согласованность и надежность альтернативных форм, которые были впервые введены в исследовании под названием «Классическая теория тестирования». Эта научная работа до сих пор сохраняет свою актуальность.

Надежность является необходимым, но не достаточным критерием оценки качества. Необходимо также проверять обоснованность полученных результатов, то есть насколько хорошо то, что измеряется вообще может говорить о том или ином качестве? К примеру, при измерении визуальной привлекательности сайта, нужна метрика, с помощью которой можно эффективно отличать красивые сайты от страшных при минимально возможной выборке.

Насколько высокой должна быть точность

Скорее всего при проведении теста нет нужды в том, чтобы привлекать к нему все население Земли. Необходимо выбрать лишь некоторое количество людей, а затем подсчитать погрешность измерения. Если у компании десять миллионов клиентов, то если случайным образом выбрать тысячу из них, этого хватит для проведения тестирования и получения точных результатов с погрешностью не превышающей 3%.

Часто встречается ситуация, когда бюджеты на UX бездумно тратятся на привлечение к тестированию слишком большого количества респондентов. Обычно результаты при работе с огромной выборкой и разумно небольшой одинаковы. При этом , прежде чем проводить тестирования с пользователями, стоит и проанализировать уже имеющуюся информацию.

Физик Энрико Ферми, работавший над «Проектом Манхеттен», знаменит своими точными измерениями, которые он проводил при минимальной или вовсе отсутствующей информации о предмете измерений. Например, сколько настройщиков пианино есть в Чикаго? Сколько самолетов находятся в небе над США в конкретный момент? Какой процент клиентов совершает покупки с мобильных устройств? С помощью дедукции, обоснованных предположений и небольшого количества доступной информации во многих случаях можно получать не такие уж грубые результаты измерений.

Что затем делать с результатами

Еще один положительный побочный эффект использования метода Ферми заключается в том, что с его помощью можно понять наилучшее применение будущих результатов тестирования еще до того, как опрошен первый респондент. Стоит задать себе вопрос о том, что делать в случае, если, к примеру, лишь 10% опрошенных пользователей одобрят продукт или изменения? А что будет, если положительно выскажутся 90% людей?

Обычно при измерении эмоций пользователей и их поведения, чем больше информации удастся собрать — тем лучше. Но если результаты измерений не смогут ответить на стоящие перед компанией вопросы, то стоит ли их проводить?

Конечно, даже тот факт, что проведение исследования окажет не очень большое влияние на продукт, еще не значит, что не нужно его проводить. Однако всем заинтересованным сторонам стоит задуматься о том, удастся ли с его помощью решить какие-то задачи, или полученные данные просто окажутся основой для еще одной красивой презентации. Кроме того, такой подход позволит заранее определиться с тем, что считать хорошим или плохим результатом. Это поможет сфокусировать усилия на действительно нужных вещах и отладить процесс аналитики.

Независимо от того, что планируется измерять, если ответить на пять перечисленных вопросов еще до начала измерений, поможет использовать бюджет проекта с максимальной пользой.

Артем Геллер,основатель «Лаборатории Артема Геллера»

Джефф Сауро, в очередной раз с порой присущим ему академическим подходом, структурировал ключевой базис методологии со сложным названием «Прикладывание изогнутой хорошистом-одноклассником алюминиевой линейки с затертыми от времени делениями к примерным местам возможного начала отсчета». Хороший материал. Это пять логичных ступенек, невероятно полезных заинтересованному обывателю.
Алчные кладоискатели всегда копают глубже практикантов-археологов.

С самого начала, важно покорно принять аксиому о том, что любые модели измерения первородно ошибочны (спросите любого ученого), но чертовски увлекательны (целая индустрия родилась) и порой даже полезны (редко). Неопределенность измерения коррелируется с тем насколько хорошо мы, по нашему мнению, уверены в сакральных знаниях истинных значений измеряемого. Неопределенность всегда отражает недостаточность знаний. Здесь нужно откатиться на пару строк назад и поставить акцент на словосочетании «по нашему мнению». Эта фраза всегда говорит о неуверенности в результате при переложении на проектную реальность.

Любая логика измерений может дать результаты, которые разбросаны не вокруг истины, а вокруг какого-то значения, отстоящего от истины на любое расстояние. По этому в измерительной задаче важно стремиться наилучшим образом выразить все, что мы знаем об измеряемой величине (весь точнейший контекст).

Любые измерения — вероятность и относиться к ним необходимо как к вероятностям, которые лишь могут означать определенную степень доверия и ничего больше. Отсюда вытекают две новые громкие аксиомы: «идеальное понимание — бессмысленность метрик» и «результат идеальных условий измерения — полное понимание».  Первое — утопично, второе — чаще и от этого критически важно. Полное понимание, поможет набраться храбрости и сжечь все мосты, чуть позже воспылая фениксом прекрасного, порой совсем нового, успешного решения.

Идеальное понимание, на значительной части этапов — утопия и большинству ничего не остается как начать сравнивать (аналоги, исследования, собственные  эксперименты с другими гнутыми линейками). Все это может помочь нам сделать «хорошо» или «так же». В идеале можно получить адаптированную компиляцию из «хорошо» и «так же» — это разумный подход. Правда выбрав этот путь на выходе мы уже не получим «прекрасного феникса» и как побочный эффект, примем роды выкидышу потенциальной возможности рождения нового или гениального. Смерть — вещь необратимая.

Сравнение — убивает новое

Знаете, совсем не уверен в том, что через 10 лет значительную часть этих задач будет решать человек. По сути мы просто боты, поведение которых можно воспроизводить с точностью в 100%. Это прекрасно, ведь развитие в разы повышает ценность гения и снижает ценность посредственности, что эволюционно справедливо.

Я бы на вашем месте, всегда оставлял место гению. Оставайтесь голодными.

Ольга Павлова,совладелец КБ «Собака Павлова»

Мысль что-нибудь поизмерять потихоньку заходит в умы заказчиков крупных и средних интерфейсных проектов. Но сложно ожидать, что она там поселится в формате «Делайте, дорогие спецы, что хотите, я вам полностью доверяю». Так просто не бывает.

Если вам удастся (sic!) получить задачу вида «Измерить что-то в интерфейсе и принять решение», то основной проблемой будет даже не собственно измерение, но организация рабочего взаимодействия с заказчиком. Иначе говоря — продажа результатов и их использование в народном хозяйстве.

Расскажу о самых распространённых тараканах в головах. Предупреждён — вооружён.

Кому нужны ваши измерения?

Как-то мимо внимания автора исходной статьи прошла простая мысль: измеряем мы не для себя. Измеряем мы для того, чтобы помочь заказчику принять решение. Поэтому разведка боем о том, кому нужны ваши измерения и что он(а) собирается с ними делать — в общем-то половина успеха.

Слаще всего жизнь у тех исследователей, кто генерит отчёты для складывания на пыльную полку. Чуть сложней работать, если результатом вашего анализа должна быть, например, комплексная оценка качества работы подрядчика по проектированию интерфейсов.  Потом идут люди, выявляющие отдельные проблемы взаимодействия пользователя с системой и озадачивающие всех вокруг их решением — что-то вроде интерфейсных тестеров. Ну а аналитики, результатами работы которых будут пользоваться product-менеджеры — это, пожалуй, высшая каста. Вряд ли в эту касту стоит лезть, не пройдя предыдущие, более лёгкие этапы.

Атака на авторитеты

Заказчик, уверенный в своей интерфейсной компетенции, просто-напросто боится чисел. Потому что они могут показать и доказать его неправоту. И что тогда делать? Принимать решение, к которому душа не лежит? Идти на поводу у статистики? Ну вы сами можете догадаться, как люди это любят. Правильно, никак.

Поэтому прежде чем что-то измерять, выясните, готов ли заказчик — психологически — хотя бы к обсуждению результатов измерений.

Привычка к большим числам

Конверсия 0,7% — это много или мало? «Очевидно», что раз число маленькое, значит, мало? Давай больше! Нам надо, чтобы все пришедшие на страницу регистрации оставляли свой e-mail! А если не оставили — значит, плохо спроектировал!

Заказчик понятия не имеет, хороши или плохи числа, которые вы принесёте ему в клюве. Ему не с чем сравнивать. Так расскажите, какие вообще бывают конверсии! А лучше замените проценты на коэффициенты роста: что во сколько увеличилось, во сколько раз новое лучше старого, и т.п.

Люди интуитивно не готовы радоваться долям процента. Зато сотни и десятки чего угодно — это «много». Ну так дайте им это много, жалко, что ли.

Простой жизненный пример: увеличение правильно заполненных анкет с 98% до 99% (ничтожное изменение, правда?) на самом деле, грубо говоря, означает удвоение качества: было 2% ошибок, а стало в два раза меньше. И как раз про удвоение качества и стоит рассказать неподготовленному клиенту, верно? Верно, но неочевидно. Обратите внимание.

7+/-2 и другие легенды измерений

Всякий знает с десяток статистических интерфейсных мифов: «7 пунктов в меню», «нормальное распределение», «закон больших чисел» и т. д., и т. п. На самом деле эти словосочетания ничего не значат. Но заказчик будет ждать этих волшебных слов — так ему просто понятней.

Что делать, понятия не имею. Я обычно провожу разъяснительную работу: рассказываю и показываю, в чём на самом деле состоит упоминаемый закон и почему здесь используется другие правило/норматив/модель. Но это личная позиция, вы не обязаны. Вообще говоря, можно и без зазрения совести завернуть правдивые результаты в привычный заказчику пошлый фантик 7+/2.

Все считают деньги

На самом деле очень редко кто считает пользователей в чистом виде. В основном заказчики — особенно неподготовленные — стараются всё свести к деньгам. Соответственно, их основной интерес: как вся эта суета с циферками даст мне больше бабла. Готовьтесь ответить. Неприятно, когда интимный вопрос денег застаёт врасплох.

Никому ничего не скажу

Занятно, что если уж заказчик справился что-то с вашей помощью измерить, то делиться результатами с широкой общественностью он совершенно не рвётся. Причины этого мне пока не удалось понять. Подозреваю, что некоторым стыдно показывать небольшие — как они думают — числа. Но это явно не единственная причина.

Прогноз важней состояния

Вот вы измерили, что как с интерфейсом «прямо сейчас». Ну замечательно. Заказчику это обычно глубоко по барабану. Зато его сильно волнует другой вопрос: как сделать, чтобы выросло? И второй: насколько вырастет? Что вырастет, как вы понимаете, уже неважно. Ну, пусть деньги. Главное — больше, больше, больше!

Соответственно, от вас ждут не столько фиксации реальности, сколько поиска узких мест и, в общем, гадания на кофейной гуще: ща мы тут кнопочку передвинем, и продажи вырастут вчетверо. Иногда такой прогноз дать достаточно легко. Но чаще всего — невозможно. А что заказчик? А заказчик недоволен, конечно.

Единственное, что вроде как помогает — это отсылать к предыдущему опыту: «Мы тут одному мужику оторвали в магазине обязательную регистрацию, так знаете, как продажи скакнули, ууу!»

Да, роскошь A/B-тестирования тоже не все могут себе позволить. Простые вещи вроде кнопки или картинки протестировать легко, а вот на эксперименты с альтернативными бизнес-процессами и ключевыми сценариями идут пока немногие. Пока.

Дайте мне dashboard

Почти любой заказчик мечтает о волшебном dashboard'е. То есть страничке, на которой хорошие показатели горят зелёным, а плохие — красным. Ну и там, конечно, должна быть кнопочка «Сделать хорошо», а как же.

Совсем уж приличный dashboard редко удаётся сварганить. Но ключевые показатели собрать, в принципе, можно. И кажется, что это довольно важная, но редко реализуемая часть работы интерфейсного аналитика: свести все показатели к двум-трём ключевым и дать заказчику способ понимать, хороши они или плохи.

Упаковывайте числа в историю

Даже с прекрасным dashboard'ом обычно трудно свыкнуться: ну, числа и числа. Никакой эмоции они не вызывают. Читать их тоже мало кто из заказчиков умеет.

Поэтому есть смысл упаковывать числа в историю. И отчитываться не табличками, а увлекательными приключениями пользователей. Драмой, страданиями и победой.

13. 42. 239. 666. 1984. Сами видите, работает.

Статьи по теме
Стоит ли использовать в проекте бесплатные шрифты23 апреля 2014, 11:47
Почему пользователи вводят меньше данных, если в форме есть обязательные поля30 апреля 2014, 13:56
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

>> "Первое — утопично, второе — чаще и от этого критически важно. Полное понимание, поможет набраться храбрости и сжечь все мосты, чуть позже воспылая фениксом прекрасного, порой совсем нового, успешного решения".

Человек, который так пишет, просто физиологически не может в хорошие интерфейсы.

"на эксперименты с альтернативными бизнес-процессами и ключевыми сценариями идут пока немногие. Пока."

мало того, даже если и идут, потом не знают, что с ними делать, так как в ряде случаев даже 2-3 ключевых показателя и сила убеждения не работают в процессе принятия решений заказчиком

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Данил Петрусёв

Сук, я так себе велосипед не закажу никогда такими темпами

Власти России намерены снизить беспошлинный порог для ввоза интернет-посылок до 500 евро с середины 2018 года
0
Pavel Molchanov
SoftProducers

Я клиент Агавы

Регистратор Reg.ru приобрёл старейшего российского хостинг-провайдера Agava
0
Alexander Dembovski

Рэйчика уважаем!

PewDiePie сохранил лидерство в рейтинге самых высокооплачиваемых YouTube-блогеров по версии Forbes
0
Yevgeniy Rozenblat

Про многомиллионные откаты и заносы ни слова?

Почему корпоративных клиентов не интересуют скидки
0
Victor Babichev
Atlas

Не уверен. Тут все зависит от следующей акции.

Кейс из России: Как «Атлас» продавал тесты в «Черную пятницу» при помощи онлайн-голосования в Facebook Live
0
Показать еще