Какой метод выбрать для исследования аудитории сайта

Перевод обзора специалиста по пользовательскому опыту Nielsen Norman Group Кейт Мейер.

Многие UX-специалисты чаще используют качественные методы исследований, потому что они, согласно распространенному мнению, считаются более лёгкими и дешёвыми, чем количественный анализ. Количественный анализ часто ассоциируется с огромными объёмами выборки данных и статистики, поэтому специалисты стараются избегать пугающую их перспективу.

Если это похоже на вас, то вы многое упускаете. Количественные методы являются важной частью инструментария любого опытного UX-специалиста. Они позволяют:

Эта статья может помочь вам начать. Первый шаг — определить, какой именно количественный метод исследования вам подойдёт. Несколько наиболее популярных из них:

Каждый из этих методов генерирует ценные количественные данные, но сами техники очень разнообразны как по типу получаемых данных, так и по количеству требуемых усилий.

В статье перечислены наиболее распространённые сценарии использования этих методов и оценены затраты и сложность каждого из них. Как и любой исследовательский метод, они могут быть адаптированы под самые разные потребности. В зависимости от ваших конкретных обстоятельств, затраты и сложность могут сильно различаться. Нужно помнить, что у каждого метода свои минимальные размеры выборки для определения статистической значимости.

Хотя его и не так часто используют, количественное юзабилити-тестирование (которое иногда называют бенчмаркингом) очень похоже на качественное: пользователей просят выполнить реалистичные задания с помощью продукта.

Основное различие между этими двумя методами в том, что в качественном юзабилити-тестировании главное — наблюдения, например, определение проблем с удобством использования продукта. Суть количественного юзабилити-тестирования же, наоборот, заключается в сборе таких метрик, как время выполнения задания или успешность его выполнения.

Когда вы соберёте метрики из относительно большой выборки (около 35 участников или более), можно использовать их для отслеживания прогресса в удобстве использования вашего продукта с течением времени или для сравнения удобства использования вашего продукта и продукта вашего конкурента.

В зависимости от того, какой тип юзабилити-тестирования вы выберете (личная встреча, удалённое модерируемое или удалённое немодерируемое), будут отличаться стоимость и сложность его выполнения. Так как у количественного и качественного тестирований разные цели, структура и задания тоже должны будут отличаться.

Аналитические данные описывают, что люди делают с вашим продуктом в реальном времени — куда ходят, на что кликают, какую функциональность используют, откуда приходят на сайт, на каких страницах прерывают работу с сайтом или приложением.

Такая информация может поддерживать огромное разнообразие UX-процессов. В частности, так вы можете отслеживать результативность разнообразного контента, пользовательских интерфейсов или различных функциональностей вашего продукта и определять, что не работает.

Можно использовать аналитические метрики, чтобы отслеживать рабочие характеристики продукта (как это было описано выше). А ещё проводить эксперименты, которые покажут, как различный дизайн пользовательских интерфейсов меняет эти метрики. Для этого подходит A/B-тестирование или многофакторное тестирование.

Во время A/B-тестирования команды создают две разные действующие версии одного и того же пользовательского интерфейса, а затем показывают их разным пользователям, чтобы посмотреть, какая версия работает лучше. Например, можно создать две версии одной кнопки призыва к действию: «Узнать стоимость» или «Узнать больше».

Затем можно отследить количество кликов по той и другой кнопкам. Многофакторное тестирование похоже на этот метод, но здесь тестируются сразу несколько элементов дизайна (например, в тестировании могут участвовать несколько надписей на кнопках, различная типографика и расположение на странице).

Оба основанные на аналитике типы тестирования отлично подходят, чтобы выбрать один вариант дизайна из нескольких — с их помощью можно прекратить споры в команде о том, какая версия лучше.

Главный недостаток этого метода заключается в том, что он часто неправильно эксплуатируется. Некоторые команды проводят тестирование меньше, чем следовало бы, поэтому принимают рискованные решения на основании небольшой выборки.

При использовании метода сортировки карт участникам выдаются элементы контента (иногда даже на обычных индексных карточках). Их просят сгруппировать и пометить эти карточки так, как им это кажется разумным. Этот тест можно проводить с личным присутствием и физическими картами или удалённо, через платформу сортировки карт, как например OptimalSort.

Такой метод позволяет представить когнитивную карту информационного пространства пользователя. Какой терминологией они пользуются? Какой логикой руководствуются при группировании этих концептов?

Количественный анализ процентного соотношения участников опроса, которые группировали концепты схожим образом, может помочь установить, какой подход к категоризации будет понятен большей части пользователей.

При тестировании «дерева» сайта участники пытаются завершить задание используя только структуру вашего сайта. В целом это способ оценить информационную архитектуру, изолировав её от других аспектов вашего UI.

Например, представьте, что ваш продукт — сайт товаров для животных, а ниже представлена ваша иерархия первого уровня.

Вы можете попросить своих участников найти ошейники для собак. Количественный анализ результатов тестирования «дерева» сайта покажет, могут ли люди найти правильный путь к этому товару в информационной иерархии. Сколько участников выберет неверную категорию?

Этот метод полезен, если нужно определить, соответствуют ли информационно-архитектурная структура, метки и местонахождение товара ожиданиям людей.

Опросы — это гибкий инструмент исследования пользователей. Их можно проводить в разнообразных контекстах: простой открытый опрос на сайте, через рассылку или после тестирования удобства использования сайта.

Опросы могут принести как количественные, так и качественные данные — рейтинги, процентное соотношение выбора одного из вариантов ответов на вопрос с несколькими вариантами ответа, а кроме того, ответы на открытые вопросы. Вы даже можете конвертировать качественные ответы из опроса в цифровые данные.

Можно создать собственные индивидуальные опросы или использовать одну из множества уже созданных анкет (например, System Usability Scale или Net Promoter Score). Преимущество этих опросников заключается в том, что вы можете сравнить свои результаты со средним значением по своей индустрии или с результатами конкурентов, и понять, как идут ваши дела.

Даже если вы создадите опрос индивидуально под себя, вы всё равно сможете отслеживать свою среднюю оценку за период времени, чтобы наблюдать улучшение продукта.

Эта техника в меньшей степени является методологией сбора данных и в большей — методом анализа качественных данных. Она представляет собой группирование результатов, полученных из качественного исследования (например, исследование методом дневника, опрос, фокус группа или интервью) по общим темам. Если вы собрали много данных, то можете посчитать количество раз, когда упоминается какая-то конкретная тема.

Например, представьте, что вы проводите исследование методом дневника, и просите участников каждый день сообщать об их опыте использования вашего продукта в течение недели. Ваша цель — понять, в каком контексте они пользуются вашим продуктом. Вы можете посчитать количество раз, когда люди пользовались продуктом на работе, дома или в пути.

С помощью этого метода можно определить преобладание или частоту употребления какой-то конкретной темы или ситуации — например, как часто пользователь жалуется или как часто возникают проблемы UI.

Этот подход хорош, чтобы добывать числовые данные из большого количества качественной информации, но может требовать серьёзных временных затрат.

Количественная оценка целесообразности продукта — это попытка измерить и представить в количественной форме некоторые качества продукта, такие как эстетическая привлекательность, потенциал бренда, стиль изложения материала.

Эти исследования могут быть индивидуально настроены в зависимости от предметов исследования, но сначала вы должны показать свой продукт участникам исследования (можно показать статичные изображения или попросить использовать ваш продукт или его прототип).

Затем вы должны попросить описать дизайн, выбрав варианты из списка ключевых слов. При довольно большой выборке можно заметить возникновение трендов. Например, вы можете заметить, что 84% респондентов описывают ваш дизайн как «свежий».

Для айтрекинговых исследований требуется специальное оборудование, которое отслеживает движение глаз пользователей по интерфейсу. Когда большое количество участников (30 или более) выполняет одно и то же задание на одном интерфейсе, вы можете заметить значимые тренды и определить с некоторой степенью надёжности, какие элементы на странице привлекут внимание пользователей.

Отслеживание взгляда поможет определить, на каких элементах контента и интерфейса нужно акцентировать внимание, а от каких — наоборот, его отвлечь, чтобы пользователи смогли достичь своих целей.

Самый большой минус в проведении айтрекинговых исследований — необходимость высокоспециализированного, непозволительно дорогого и в некоторой степени нестабильного оборудования, для использования которого требуется серьёзная тренировка.

В этой таблице представлены сводные данные по тому, что обсуждалось выше.

Чтобы понять, какой количественный метод исследования использовать, определите предмет исследования. Что вам нужно знать? Некоторые из этих методик лучше подходят для очень общих предметов исследования.

Чтобы найти ответы на такие вопросы, вероятно, лучше использовать количественное юзабилити-тестирование, веб-аналитику или опросы.

Другие методики работают лучше, если у вас более конкретный вопрос.

Если вы ставите перед собой такие вопросы, то, возможно, лучше использовать A/B-тестирование, сортировку карт, тестирование «дерева» сайта, кластеризацию комментариев из количественных исследований, оценку целесообразности продукта или айтрекинговые исследования.

Однако не все наши рекомендации однозначны. Например, A/B-тестирование может не подходить вашей компании по соображениям безопасности или техническим причинам. Если это ваш случай, и вы не можете провести такой тип исследования, то проведите количественное юзабилити-тестирование с личным присутствием, так можно сравнить два прототипа. Однако это не типичный вариант применения количественного юзабилити-тестирования, поэтому мы не обсуждали здесь этот вариант.

После предмета исследования второй наиболее значимый фактор для выбора методологии — затраты. Все вышеперечисленные методологии будут сильно отличаться по затратам в зависимости от того, как вы будете их применять.

То, какие инструменты вы будете использовать, количество привлеченных участников, время, потраченное теми, кто будет проводить исследование, всё это повлияет на окончательные затраты. Ещё больше ситуацию усложняет то, что у команд могут быть совершенно разные бюджеты. Опять же, оценка затрат здесь очень относительна.

Команды с небольшим бюджетом могут полагаться на цифровые методы — удалённое юзабилити-тестирование, онлайн-платформы для сортировки карт, такие как OptimalSort, A/B-тестирование, веб-аналитика или аналитика приложений. Опыт показывает, что методы, предполагающие личное присутствие (такие как юзабилити-тестирование с личным присутствием, сортировка карт с личным присутствием), оказываются более затратными, потому что тот, кто проводит их, тратит гораздо больше времени.

Ещё для их проведения, возможно, потребуются затраты на проезд и аренду оборудования. Самая дорогостоящая методология в списке — айтрекинг. Поэтому её следует применять только тем командам, у которых большой бюджет и предмет исследования которых оправдывает использование этой методики.

Выбрав метод, изучите его. Сделайте домашнюю работу, чтобы спланировать и провести исследование так, как вам нужно, чтобы получить действительно полезные результаты. В разделе «Что почитать» в конце статьи можно найти ссылки на некоторые полезные сайты.

Учтите: нельзя просто собрать метрики и начать принимать решения, не проведя статистический анализ. Недостаточно просто собрать оценки пяти пользователей, взять среднее значение и пойти дальше.

У каждого метода, который мы тут обсудили, есть различные рекомендованные размеры выборки — количество данных, которые вам лучше собрать, чтобы получить достоверные результаты и определить статистическую значимость. Так что вам нужно достичь минимального размера выборки. А если вы не сможете это сделать, то не сможете и быть уверенными, что полученные результаты не являются случайностью.

Постарайтесь учесть и время, которое вам потребуется, чтобы исследовать актуальный статистический концепт, какой бы метод вы ни выбрали, а также стоимость получения корректной минимальной выборки. Я обещаю, что всё не так сложно, как кажется, и ради этих количественных данных стоит и потрудиться.

#дизайн #инструменты