Какую аудиторию выбрать для UX-тестов?

idaproject делится инсайтами и собственными исследованиями в недвижке.

Какую аудиторию выбрать для UX-тестов?

Время чтения ±10 минут (если не залипните).

Наша команда постоянно тестирует различные проекты, ищет инсайты и все больше и больше преисполнится экспертизой в любимой недвижке. Нам часто приходится слышать от коллег внутри агентства и партнеров следующие предположения по аудитории UX-тестов:

  • «ну, большинство любителей проходить тесты — it-шники или маркетологи c профессиональной деформацией»
  • «в Толоке пытаются только скликать» (это нерелевантно)
  • «нам нужны живые люди даже для простых тестов»

Нам это надоело. Поэтому мы решили закрыть этот вопрос. Пока только для простых UX-тестов. Дальше исследуем с более сложными. Но это позже. Погнали.

С чего мы начали. Запустили несколько простых UX-тестов на разную аудиторию и сравнили результат. Тут все довольно просто.

В этот раз взяли за основу страницы сайта группы «Самолет». Убрали все тестируемые кнопки и логотип «Самолета», чтобы пользователи не «подглядывали». Запустили тесты на трех разных источниках:

  • Telegram-чаты по Кастдев (в них были преимущественно люди, связанные с IT и маркетингом)
  • Яндекс Толока
  • Случайным живым людям

Задача для участников теста: просили нажать туда, где по их мнению, должны располагаться соответствующие элементы.

Задача #1, #2, и бонусный уровень.

Страница, на которой респонденты отмечали расположение кнопки «забронировать/заказать обратный звонок» и кнопки «вид из окна»

Пример без кнопок «забронировать», «вид из окна», «избранное».
Пример без кнопок «забронировать», «вид из окна», «избранное».

Задача #3

Страница, на которой респонденты отмечали расположение кнопки «заказать звонок».

Пример без кнопок: «заказать звонок».
Пример без кнопок: «заказать звонок».

РЕЗУЛЬТАТЫ

Давайте сначала рассмотрим их отдельно по всем аудиториям. Если вы хотите сразу перейти к сравнению, то кликайте здесь.

Тест №1. Аудитория: телеграм-чаты для кастдева

Респондентов всего 55. До конца теста дошли 49.

Из них:

1. 36 — IT и маркетинг;

2. 5 – Экономика и финансы;

3. Другие: учусь (студент) (1), образование (кроме IT) (2), ремонт и строительство (1), не работаю (1), HR-Tech (1), логистика (1), руководитель стартапа (1).

Задача 1. Кнопка «вид из окна».

Какое было здание: представьте, что вы выбираете квартиру для покупки и рассматриваете варианты на сайте застройщика. На картинке примеры страницы квартиры. Нажмите туда, где по вашему мнению нужно расположить кнопку, ссылку или иконку, при нажатии на которую, вы сможете посмотреть вид из окна у этой квартиры.

Общий результат.
Общий результат.
IT и маркетинг. 36 респондентов. Среднее время - 40 сек.
IT и маркетинг. 36 респондентов. Среднее время - 40 сек.
Другие профессии. 19 респондентов. Среднее время - 29 сек.
Другие профессии. 19 респондентов. Среднее время - 29 сек.

💡 Как можно заметить, кластеризация у обоих аудиторий из чатов одинаковая. На такой небольшой выборке прослеживается даже «хвост» кластера у окна.

Если вам интересно, то у «Самолета» эта кнопка находится в «Табах». А вот вторая половина аудитории предлагает то, что мы называем UX-скевоморфизмом, такое решение встречается крайне редко на сайтах застройщиков, но как мы видим оно столь же релевантно, как и самое очевидное (для нас) расположение кнопки.

Задача 2. Кнопка «забронировать».

Какое было задание: представьте, что квартира вам понравилась и вы хотите её забронировать. Нажмите туда, где по вашему мнению должна располагаться кнопка «забронировать» на этой странице.

Общий результат.
Общий результат.
IT и маркетинг. 36 респондентов. Среднее время - 11 сек.
IT и маркетинг. 36 респондентов. Среднее время - 11 сек.
Другие профессии. 14 респондентов. Среднее время – 13 сек.
Другие профессии. 14 респондентов. Среднее время – 13 сек.

💡 Тут мнения разделились сильнее, а респондентов стало меньше. Картина схожести ответов начинает вырисовываться, но утверждать об этом пока нельзя.

Это была интересная задача, основная проблема которой в том, что люди искали свободное место для кнопки, а не думали, как сделать интерфейс понятнее. Всего образовалось 3 кластера.

Кластер 1 Рядом с ценой – самый распространенный паттерн расположения этой кнопки.

Кластер 2 «Я нашел пустое место снизу справа».

Кластер 3 Предложение расположить кнопку бронирования сразу после всех параметров квартиры. Что ж, звучит логично.

Задача 3. Кнопка «заказать звонок».

Какое было задание: нажмите туда, где по вашему мнению, должна располагаться кнопка «заказать звонок» на этой странице с планировкой квартиры.

Общий результат.
Общий результат.
IT и маркетинг. 36 респондентов. Среднее время – 12 сек.
IT и маркетинг. 36 респондентов. Среднее время – 12 сек.
Другие профессии. 14 респондентов. Среднее время – 7 сек.
Другие профессии. 14 респондентов. Среднее время – 7 сек.

💡 3 кластера, которые прослеживаются у обеих аудиторий.

Тест №2. Аудитория: случайные люди. «Сарафанное радио».

Респондентов всего 74. До конца теста дошли 67.

Из них 32 — IT и маркетинг.

Другие профессии: учусь (4), экономика и финансы (8), юридические услуги (2), управление персоналом (2), производство (1), медицина (2), продажи (5), образование (кроме IT) (2), сфера услуг (4), не работаю (3), логистика (2), госструктуры (1), связь (1), СМИ (1), ЖКХ (1), наука (1), промышленный дизайн (1), офис-менеджер (1).

Сделаем пометку. Сейчас мы пойдем быстрее и будем сразу показывать результат и аудиторию.

Задача 1. Кнопка «вид из окна».

Общий результат.
Общий результат.
IT и маркетинг 23 респондента. Среднее время 17 сек.
IT и маркетинг 23 респондента. Среднее время 17 сек.
Другие профессии. 51 респондент. Среднее время – 36 сек.
Другие профессии. 51 респондент. Среднее время – 36 сек.

Задача 2. Кнопка «забронировать».

Общий результат.
Общий результат.
IT и маркетинг. 23 респондента. Среднее время – 14 сек.
IT и маркетинг. 23 респондента. Среднее время – 14 сек.
Другие профессии. 45 респондентов. Среднее время – 11 сек.
Другие профессии. 45 респондентов. Среднее время – 11 сек.

Задача 3. Кнопка «заказать звонок».

Общий результат.
Общий результат.
Сравнение трех аудиторий без разделения по профессиям.
Сравнение трех аудиторий без разделения по профессиям.
Другие профессии. 45 респондентов. Среднее время – 11 сек.
Другие профессии. 45 респондентов. Среднее время – 11 сек.

Сравнение трех аудиторий без разделения по профессиям

Задача 1. Кнопка «вид из окна».

💡 Как можно заметить, Толока отдает довольно похожие результаты. Однако, некоторые респонденты (небольшая часть – порядка 10%) из толоки во втором задании, видя ту же или похожую картинку, кликают ровно туда же, куда кликали при первом задании.

На самом деле это обусловлено основной мотивацией людей из толоки – они получают деньги за законченные задания. И из-за этого спешат ответить на вопросы. Для нас это не минус, а плюс. Аудитория наших сайтов спешит не меньше, а это всегда дает очень большую неточность, которую можно наблюдать и у людей, которые используют сайты для своих целей.

При проведении тестов с толокой наш совет простой: если вопросы не взаимосвязаны, то между ними нужно немного выбить аудиторию спросив то, чего они ну никак не ожидают. Либо делить такой тест на разные опросы, а не помещать все в один. Так, конечно, будет немного дороже.

Задача 2. Кнопка «забронировать».

Гипотеза: расположение кнопки «вид из окна» рядом с кнопками «план этажа» и «генплан», видимо, является привычным для пользователей, так как такое же расположение имеет большинство сайтов недвижимости. В следующие тесты стоит добавить вопрос, посещали ли респонденты за последнее время сайты застройщиков. И сравнить результаты ответов у тех, кто посещал, и у тех, кто такие сайты не посещал.

Задача 3. Кнопка «заказать звонок».

💡 Эта задача была с максимально большим свободным пространством. Все 3 источника имеют 2 основных кластера: слева-сверху и справа-сверху. Они общие, а вот другие – уже особенностями. ТГ чаты и случайные люди – показали кластер в справа-снизу. Кажется, что это влияния виджетов обратного звонка. Случайные люди сформировали уникальный кластер – слева-снизу.

Бонусный уровень. «Добавление в избранное».

Значок «избранного» намеренно убрали, чтобы респонденты свободно выбирали любую область на экране. Показали их респондентам и просили нажать туда, где по их мнению, должен быть значок «избранного.»

70 респондентов. Источник: телеграм-каналы для коридорных тестов. IT и около IT-аудитория.

Какую аудиторию выбрать для UX-тестов?
Какую аудиторию выбрать для UX-тестов?

75 респондентов. Источник: Яндекс Толока. IT-аудитория исключена путем опроса по профессии или роду занятий.

Какую аудиторию выбрать для UX-тестов?
Какую аудиторию выбрать для UX-тестов?

64 респондента. Источник: «сарафанное радио», IT-аудитория исключена.

Какую аудиторию выбрать для UX-тестов?
Какую аудиторию выбрать для UX-тестов?

И тут, мы нашли место, где It-шники проиграли!

Какую аудиторию выбрать для UX-тестов?

И толока показывает крайне похожие результаты, а вот айтишники вспоминают бест-практис, референсы и никак не могут вспомнить е-коммерс без сердечка.

Но! Так как мы и сами айтишники, такой результат нас удивил.

И мы обязательно перепроверим, кто из этих аудиторий был прав.

Наши выводы и UX-советы

Можно заметить, что «шумов» у аудитории из чатов Telegram гораздо меньше.

Гипотеза следующая: в чатах по кастдеву собирается аудитория с целью понять пользователя, поэтому при своих ответах они пытаются угадать поведение пользователя. И нужно отдать им должное – у них получается определить основные кластеры.

Толока, пусть и очень спешит, но спешит так же, как и пользователи ваших сайтов. Большое отклонение в самой первой задаче можно обусловить тем, что пользователи толоки уже в курсе правил таких тестов. Это можно использовать для проверки интуитивности ваших интерфейсов. Чем он будет проще – тем больше верных ответов вы будете получать из Толоки.

Расположения основных кластеров не отличаются у всех трех групп.

Если вы думаете, где искать аудиторию: берите любую. Они все прекрасно подойдут для тестов на доступность интерфейсов: от ваших коллег до вашей бабушки.

Не забывайте про мудрость толпы и просто наберите немного больше респондентов, если не уверены в аудитории.

Это еще не все!

В следующий раз вернемся к вам с проверкой полученных данных на бою. И обязательно повторим это тест на более сложных UX-тестах.

И по традиции. Используйте рекомендации только в благих целях! Если хотите узнать больше по исследованиям, мы всегда на связи и готовы помогать вам ;)

Подписывайтесь на наш Telegram-канал. Собираем всю боль веб-дева.

2424
13 комментариев

Статья для меня оказалась полезной. Спасибо большое

Буду ждать продолжения

7
Ответить

Большое спасибо, рады стараться

4
Ответить

Сколько бессмысленного труда ради говносайта компании Самолёт. Зачем?

3
Ответить

> Сколько бессмысленного труда

Им заказчик платит за каждый человеко-час, так что тут чем больше труда - тем лучше)

Ответить

😂 спасибо, что зарегистрировались) а какой у вас сайт компании?)

2
Ответить

Почему не СДЕЛАТЬ несколько, 2-5 вариантов расположения кнопки и протестировать это хоть на реальных пользователях, хоть на ux-тестах?

Чем описанный вариант теста лучше?

До кучи, кнопку на выбранном месте можно визуально реализовать так, что она будет как первой в иерархии, так и гдето в конце - тогда все результаты ваших тестов можно выкинуть в ведёрко :)

Ну и на десерт - сколько вы потратили денег на тесты, не только на юзеров, но и время вашей команды на все эти действия, сбор данных, коммуникации, размещения тестов ? И сколько стоило бы фронт-ендеру закодить 2-5 вариантов? Думаю, второй вариант дешевле раза минимум в два, а то и 5-10, если есть возможность тестить на продакшене и фронт шустрый 🙃

Не сочтите за токсичность, только аргументы и конструктив ведь )

1
Ответить

Привет, этот текст больше про аудитории UX тестов, но ответим и на твои вопросы:

1. Подобные тесты намного дешевле, чем a/б - и самое главное, они быстрее ими тестировать можно не только кнопки - но и более глобальные гипотезы/функционал останавливаясь только на прототипах/макетах. Подобный тест для проверки аудитории занял на подготовку и прохождение - полдня 1 человека у которого ставка дешевле чем разраба, где большая часть - ожидание.
2. Это не отменяет a/б тестов, они всегда идут после запуска на бой.
3. В этом случае, нам было интересно считают ли пользователи так же как мы, если сделаем сами - то не узнаем паттерн пользователя, а предложим лишь выбор наших мыслей, но и такой подход можно использовать

Спасибо за комменты)

4
Ответить