Что общего у яблочного пирога и качественного UX исследования? Как и пирог, успех которого зависит от удачного рецепта, качественных ингредиентов и таланта повара, успех исследования зависит от грамотно разработанного инструментария, правильно подобранных респондентов и профессиональных навыков исследователя.
Самое главное в яблочном пироге - это, конечно, яблоки, они должны быть не слишком жесткие, не должны выделять слишком много сока или превращаться в кашу.
А в качественных исследованиях самое главное это респонденты. Они должны быть с нужным опытом, возрастом, профессиональными навыками, устройствами и еще много других параметров, все-таки это не яблоки :)
Очень важно правильно организовать и провести рекрут респондентов, поскольку от того, кто придет на тест, зависит ценность результатов и качество всего исследования.
Давайте разберемся, как это сделать.
Какие яблоки взять для яблочного пирога? Или определение критериев отбора участников
Итак, вы решили испечь яблочный пирог. Есть множество разных сортов - сладкие, кисло-сладкие, кислые, терпкие, сочные, плотные, душистые... Все хороши, но далеко не каждое яблоко хорошо «ведет» себя в духовке.
Так, как понять, какие яблоки брать?
Нужно идти от задачи - в сладкий бисквит пойдут кислые сорта, а в пирог из пресного теста - более сладкие.
Так и в UX исследованиях. Для того чтобы определить, каких респондентов приглашать, нужно ответить на два вопроса:
1. Какие задачи вы хотите решить в ходе тестирования?
2. Какие особенности целевой аудитории являются определяющими при взаимодействии с тестируемым продуктом?
Получив ответы на эти вопросы, вы получите значимые критерии отбора респондентов.
Список критериев отбора респондентов для UX-тестирований обычно включает в себя:
- социодемографические параметры (напр., пол, возраст)
- опыт использования исследуемого продукта или аналогичного продукта конкурентов
- опыт использования определенного устройства (напр., смартфон, кнопочный телефон, ноутбук, модем, роутер и т д)
- платформа устройства
Опыт использования исследуемого продукта – наиболее важный параметр. По этому параметру обычно формируют три группы респондентов:
1) опытные пользователи исследуемого продукта – пользователи, которые хорошо знают исследуемый продукт или сервис
2) опытные пользователи конкурентного продукта –это может быть как аналогичный продукт конкурента, так и «конкурентный продукт» в более широком смысле
3) неопытные пользователи
Опытные пользователи могут рассказать о том, в каких случаях используют продукт, как именно его используют, с какими трудностями сталкиваются и т д. К опытным пользователям могут применяться и дополнительные требования - продолжительность использования продукта, частота использования, длительность сессии, использование разнообразного функционала и т. д. Например, опытные пользователи с большим «стажем» использования продукта могут рассказать о тех проблемах, с которыми они сталкивались на всем жизненном цикле использования продукта. А пользователи, которые только недавно стали пользоваться продуктом, могут больше рассказать о том, с какими проблемами они столкнулись на этапе выбора и подключения к продукту или его активации.
Но тестирование с опытными пользователями имеет один существенный недостаток – «замыленность взгляда» респондента. Даже если какой-либо функционал реализован неудобно, то «опытные» быстро привыкают к нему и перестают замечать даже явные ошибки и неудобства, которые могут быть большой проблемой для новых пользователей.
Поэтому полезно привлекать на тестирование неопытных пользователей, которые позволят понаблюдать, как пользователь впервые взаимодействует с продуктом и как справляется с пользовательскими сценариями в новом для него интерфейсе.
После определения всех критериев отбора респондентов важно проверить, что получается на пересечении. Представим, что мы определили, что для тестирования продукта нам нужны пользователи смартфонов и кнопочных телефонов, которые делятся на подгруппы в зависимости от ежемесячных расходов на мобильную связь: до 300 руб, от 300 до 700 руб и более 700 руб. Очевидно, что группа респондентов-владельцев кнопочных телефонов, чьи расходы на связь составляют более 700 рублей в месяц, очень редкая и специфическая, так как 700 руб это слишком много для кнопочного телефона. Безусловно, если приложить усилия, то таких респондентов найти можно. Другой вопрос – а нужно ли? Скорее всего – нет, так как инсайты, которые мы от них получим, будут актуальны только для этой узкой группы. Иногда «несовместимость» трудно предусмотреть заранее. Такие противоречия обычно выясняются уже в ходе активного рекрута, когда в течение долгого промежутка времени не получается закрыть определенную квоту. В такие моменты важно остановиться и еще раз критически посмотреть на список критериев отбора, возможно, он требует корректировки.
На основании критериев отбора участников разрабатывается скрининговая анкета, которая помогает отсеять неподходящих респондентов.
Что нужно учитывать при составлении скрининговой анкеты?
Во-первых, нужно понимать, что респонденты не хотят тратить много времени на ответы опросника, поэтому анкета, с одной стороны, не должна быть слишком длинной, но с другой стороны, должна гарантировать качество респондентов.
Во-вторых, формулировка вопросов в анкете не должна допускать разных трактовок. Нужно избегать терминов, которые могут быть по-разному поняты респондентами. Например, такие выражения как «постоянный пользователь», «частый клиент» и т.д. для каждого респондента могут иметь разный смысл, так как для кого-то часто – это ежедневно, а для кого-то часто – это раз в месяц. Для таких вопросов лучше использовать варианты ответов, указывающие на конкретное количество за определенный период.
В-третьих, необходимо избегать наводящих вопросов. Наводящий вопрос может привести к искажению ответа - респондент может намеренно дать неправдивый ответ, пытаясь угадать, какой ответ вы хотите от него получить, и тем самым обеспечить себе место в команде. Например, вопрос «Приобретаете ли Вы одежду в интернет-магазинах? Выбор одного варианта ответа» - да/нет, лучше заменить на вопрос: «Какие товары Вы покупаете в интернет-магазинах? Выбор нескольких вариантов ответа – косметика/одежда и обувь/книги/ продовольственные товары/ другое / никакие.
Где лучшие яблоки? Или где искать респондентов?
После того как мы определили, каких респондентов нужно пригласить на тестирование, нужно понять, где их искать.
Вернемся к истории с яблоками. Где можно купить яблоки? В сетевом магазине, на фермерском рынке, "у бабушки" около метро, на фруктово-овощной базе или самостоятельно сорвать прямо с ветки в саду... Вариантов масса, и опять же зачастую выбор места зависит от самого проекта - задач, специфики целевой аудитории, сроков и т. д.
Если с яблоками всё понятно, то где искать респондентов? Обычно для рекрута используют следующие источники или их комбинацию:
- телефонные базы
- онлайн панели
- «снежный ком»
- полевой рекрут - в местах наиболее вероятного местонахождения респондентов, например - отделения банков, салоны связи, сервисные центры и т д. Сюда можно отнести и цифровую среду - форумы, группы в социальных сетях и т д.
Для набора респондентов для дневниковых исследований в качестве основного источника рекрута обычно выбирают онлайн панели. А для UX тестирований, как правило, используется комбинация источников.
Следующий шаг – это непосредственный отбор респондентов, который по сути представляет собой «прогон» респондентов через скрининговую анкету и выбор наиболее подходящих.
Все ли яблоки действительно яблоки? Или проверка респондентов
Как говорил известный повар и популяризатор здорового питания Джейми Оливер:
«Покупая продукты в магазине, доверяйте своим инстинктам. Держите глаза широко открытыми, трогайте, нюхайте... Понравилось – берите».
Мы, конечно, не призываем вас трогать и нюхать респондентов, но если критерии отбора включают в себя параметры, которые можно проверить, это нужно сделать.
Один из вариантов проверки - это запрос у респондентов фотографий/скриншотов и т д, подтверждающих соответствие целевой аудитории. Например, для тестирования сервиса мобильного оператора мы рекрутировали группу респондентов с определенным диапазоном ежемесячных расходов на мобильную связь. При заполнении скринера респондент может совершить ошибку при ответе на вопрос о своих расходах – причем как намеренно, так и ненамеренно.
В таких случаях мы всегда запрашиваем подтверждающие материалы – скриншоты из личного кабинета, выписки и т д. Это позволяет снизить риск приглашения неподходящего под квоту респондента.
При отборе респондентов нужно обязательно помнить о так называемых "ходоках". Это категория респондентов, которые сделали участие в исследованиях своей профессиональной деятельностью. Их задача - попасть на наибольшее количество исследований. Поэтому при прохождении скрининговой анкеты они обычно пытаются угадать, как нужно ответить, чтобы попасть на тест. Таких респондентов нужно научиться распознавать и затем безжалостно отсекать, тк они не дают ценных инсайтов и могут негативно повлиять на результаты всего исследования.
Как их распознать? Как правило, такие респонденты отвечают очень расплывчато, пытаясь дать максимально пространный ответ, чтобы пройти скринирующий вопрос. Например, мы искали респондентов, которые часто совершают покупки в разных интернет-магазинах. Один респондент на вопрос "Как часто вы покупали что-либо онлайн за последние полгода" ответил "Зависит от ситуации, иногда раз в неделю, иногда раз в полгода". На просьбу уточнить свою историю покупок именно за последние полгода респондент не смог сказать ничего внятного "Точно не помню, от 1 до 10 раз". Это слишком большой диапазон, что вызывает сомнения. Вряд ли интервью с таким респондентом будет полезно, поэтому мы приняли решение не брать этого респондента в команду.
Когда почти всё готово.Или приглашение на тестирование
Когда респондент прошел все этапы отбора, он получает приглашение на тестирование. Для того чтобы избежать срывов, нужно соблюдать несколько правил:
1. предупредить респондента об условиях, в которых будет проходить тестирование
Нужно рассказать респондентам об организационных моментах проведения тестирования – предупредить, что до начала тестирования будет необходимо подписать соглашение на аудио- и видеосъемку, соглашение о неразглашении и согласие на обработку персональных данных, рассказать о том, сколько времени займет тестирование, нужно ли приносить с собой личные устройства и т д.
2. назначить дату и время интервью
Выбранные день и время должны быть одинаково удобными как для интервьюера, так и для респондента. Если респондент будет спешить, то появится риск того, что он будет выполнять задания формально и умалчивать о своих мыслях и эмоциях от взаимодействия с продуктом. Также при составлении графика проведения тестирования важно закладывать дополнительное время, так как респондент может опоздать, или предыдущее тестирование может занять больше времени, чем ожидалось.
3. напомнить о тестировании за 24 часа
Накануне тестирования нужно связаться с респондентом, чтобы удостовериться, что все договоренности в силе, и, напомнить о необходимости взять с собой личное устройство (если это требуется).
Заключение
Подбор респондентов – это важный и трудоемкий процесс, от которого во многом зависит успех исследования. Залогом удачного рекрута является хорошо продуманная скрининговая анкета и обязательная проверка полученных ответов. Правильно проведенный рекрут позволит получить качественных респондентов, способных дать ценные инсайты и решить поставленные перед исследователем задачи.
Приятного аппетита и "вкусных" инсайтов!