Сравнение методов исследования: A/B-тестирования дают более точные данные, чем тесты предпочтений Статьи редакции
Конспект материала Userfocus.
Во время теста предпочтений участникам предлагают выбрать, какой из двух вариантов дизайна лучше. Полученные данные содержат личные мнения участников. Автор считает, что с их помощью трудно прогнозировать поведение.
В A/B-тестировании целевые пользователи выполняют реальные задачи. Данные этих исследований включают в себя поведенческие наблюдения. По ним можно предсказать поведение пользователей в реальной ситуации.
В книге «Think Like a UX Researcher» Филипп Ходжсон и Дэвид Трэвис выделили три вида данных, которые может дать UX-исследование:
- Точные данные: целевые пользователи выполняют задачи или участвуют в какой-либо деятельности, имеющей прямое отношение к продукту.
- Относительно точные данные: исследование включает выполнение задач пользователями или экспертами по юзабилити и самоотчеты их поведения.
- Неточные данные: использование даёт данные, которые не намного лучше, чем простое прогнозирование, или ошибочные
Как проходит A/B-тестирование
A/B-тестирование — одна из форм многовариантного тестирования. Оно проходит на сайте в реальном времени. Половина посетителей сайта видит одну версию страницы (дизайн А), а другая половина — немного другую (дизайн Б).
«Победитель» A/B тестирования — это дизайн, который лучше всего подталкивает пользователей на выполнение желаемых разработчиками действий, например, на покупки, пожертвования или подписки на рассылку.
Команды разработчиков используют этот вариант, чтобы протестировать призыв к действию, цены на продукты и изображения на лендингах.
В пример автор приводит A/B-тестирование, которое проводила Google.
Когда компания запустила рекламу в Gmail, команде разработчиков нужно было оптимизировать цвет гиперссылки. Они испытали сорок оттенков синего.
Исследование показало, что пользователи чаще кликают на ссылки пурпурного оттенка синего, чем на ссылки зелёного оттенка. В результате Google выбрала пурпурный оттенок синего для своего дизайна. Компания стала зарабатывать на рекламе дополнительные $200 млн в год.
Какие минусы есть у тестов предпочтений
Автор предлагает представить, что было бы, если бы разработчики спросили у участников, какой из сорока оттенков синего они предпочитают. Допустим, пользователи ответили, что они бы предпочли немного пурпурный оттенок синего. Приводит ли это к большей кликабельности ссылки?
По его мнению, нет. Зачем тогда используют тесты предпочтений?
Если мы спрашиваем пользователей, какой дизайн они предпочитают, то можем назвать наш выбор конечного варианта обоснованным. Такой метод исследования популярен в маркетинге, где маркетологи стремятся выяснить, какие образы, логотипы или бренды предпочитают люди.
Но UX-исследование — это не маркетинговое исследование. В статье сказано, что тесты предпочтений играют лишь незначительную роль в UX-исследованиях. На это есть четыре причины.
Тесты предпочтений не предполагают реальное использование сайта
Когда исследователи спрашивают о предпочтениях, они обычно показывают участнику две альтернативы. Затем они просят его выбрать тот вариант, который он предпочитает: «Вы предпочитаете дизайн А или дизайн Б?», «Вы предпочитаете, чтобы функция находилась слева или справа?»
Участники не осознают важность своих ответов
Автор считает, что люди прекрасно знают свои предпочтения. Он пишет: «Вы можете легко ответить на вопрос, предпочитаете вы больше Coca-Cola или Pepsi, Apple или Microsoft. Но вы не всегда знаете, почему».
Тесты предпочтений требуют от людей думать над причиной выбора. Тогда команда разработчиков на основе этого выберет нужное направление работы. Вопросы вроде: «Почему вы предпочитаете дизайн А дизайну Б?», «Почему вы предпочитаете, чтобы панель навигации находилась именно в левой части экрана?» — нормальная практика.
Оказалось, люди не умеют отвечать на такие вопросы. Часто они не знают ответа либо им всё равно, либо просто не хотят указывать причину. Большинство начинает думать о причинах только тогда, когда им задали вопрос, и выдаёт первое, что пришло в голову. Такие ответы не продуктивно принимать во внимание, потому что они могут измениться в любой момент.
UX-исследователям не всё равно, что нравится людям. Но рискованно принимать важные дизайнерские решения, если они основаны на изменчивых мнениях.
Тесты предпочтений требуют от людей прогноза своих действий
Тесты предпочтений просят людей представить себе будущее, в котором эти проекты уже существуют, а затем предположить, какой из них они бы использовали. Но исследования показывают, что люди плохо умеют предугадывать, как повели бы себя.
Когда человек взаимодействует с сайтом, на его поведение влияет много факторов: время, отведённое на выполнение задачи, вероятность того, что у них будут долгие и счастливые отношения, количество сэкономленных денег, сдача экзаменов и другие.
По мнению автора, лучший показатель будущего поведения пользователей — их прошлое поведение. Вместо того чтобы спрашивать людей, что они предпочитают, необходимо выяснить, с чем они лучше всего справляются.
В тестах предпочтений вопросы исследования — это вопросы для интервью
Вопрос исследования — цель вашего исследования. «Является ли дизайн A лучше, чем дизайн B?» — пример хорошего исследовательского вопроса.
Но вопрос исследования не всегда можно задать участникам. Вы можете спросить: «Влияет ли велоспорт на производительность труда сотрудников?» Но тогда вам не смогут дать однозначный ответ. Поэтому лучше спросить: «Сколько раз в неделю вы ездите на работу?», «Что мешает вам ездить на велосипеде чаще?», потом сопоставить ответы с показателями производительности.
Вы можете задать исследовательский вопрос, не прибегая к вопросам при этом: просто попросить участников выполнить определённые задачи под вашим наблюдением (юзабилити-тестирование).
В статье приведено описание этого процесса от Роба Фицпатрика:
Делать какие-то выводы на основе общения с клиентами — это всё равно что раскапывать хрупкий археологический объект. Правда спрятана где-то там внизу, но она очень хрупкая.
Хотя каждый удар лопатой и приближает вас к истине, вы можете разбить её на миллион маленьких кусочков, если будете использовать слишком грубый инструмент.
Юзабилити-тестирование вместо теста предпочтений
Трудность в том, что на ранних стадиях не получится использовать A/B-тестирование. Что делать, если есть два прототипа ранней концепции дизайна, и мы хотим их сравнить? Часто разработчики используют тесты предпочтений.
Автор материала пишет, что лучше взять юзабилити-тестирование. Вместо того чтобы спрашивать, что человек предпочитает, его просят опробовать готовый прототип и обнаружить юзабилити-проблемы. Их нужно будет потом исправить.
Юзабилити-проблема — это всё, что:
- мешает завершить выполнение задачи;
- замедляет работу;
- сбивает с толку;
- заставляет искать обходной путь;
- приводит в замешательство;
- раздражает;
- вызывает ошибку;
- мешает что-то заметить;
- говорит, что всё в порядке (когда это не так);
- говорит, что задача завершена (когда это не так);
- заставляет неправильно интерпретировать контент;
- не даёт сделать следующий шаг.
Юзабилити-тестирование даёт точные данные. Оно основано на поведении — на том, что люди делают, а не на том, что говорят. С помощью этого метода можно перенести участника теста в будущее — в момент, когда ваш проект станет уже реальным продуктом. Вы увидите, как пользователь будет с ним работать.