3 сервиса для UX-тестов как в «Яндексе»

Об исследованиях в «Яндексе» и инструментах для тестирования на уровне российских и международных корпораций.

В Яндексе у больших продуктовых отделов есть свои лаборатории. А небольшие отделы могут обращаться за помощью к коллегам-исследователям. До коронавируса UX-тесты можно было проводить в специальных помещениях, оборудованных ай-трекером и другими инструментами. Сейчас лаборатория перешла в онлайн-формат: это набор софтовых инструментов и каналы поиска респондентов. Интервью же проходят в основном через Zoom.

Всё устроено так, что от проведения исследования вас отделяет пара кликов или форма заявки, если нужно подобрать респондентов.

В этом году я перешёл в зарубежный стартап. Блага Яндекса стали недоступны, а исследовать надо. Причём не только в России, а ещё и в Индии, Турции и на других рынках. Поэтому мне пришлось изучить, какие есть инструменты для UX-тестирования на рынке.

Я расскажу об инструментах, которые использовали в 90% случаев в Яндексе, а затем — о продуктах, которые мы планируем использовать в стартапе.

Тепловая карта

Тепловая карта позволяет быстро проверить, все ли понятно пользователям в интерфейсе и все ли важные элементы заметны. Обычно выборка составляет 100 респондентов.

Вы загружаете макет и пишете вопрос — например, «Куда вы нажмёте, чтобы оплатить товар?». Через час после запуска теста получаете уже тепловую карту, благодаря которой понятно, куда люди нажимали и сколько раз. Также вам будет доступно среднее время клика — по нему можно судить о том, насколько долго и сложно было искать нужный элемент.

Тепловые карты используют и для прототипов — в этом случае вы увидите время, которое пользователи провели на каждом из экранов. Так вы сможете загрузить несколько сценариев и сравнить скорость их прохождения.

Опросы

Опросы пригодятся, когда нужно выбрать рекламный баннер или определиться с визуальной составляющей продукта. Они помогут узнать предпочтения или ассоциация аудитории.

Работает просто: вы загружаете один или несколько макетов и задаёте вопрос — например, «Какая реклама вызывает у вас больше доверия?».

Тепловые карты и опросы полезны на любом этапе, когда нужно статистически подтвердить, что решение работает, или выбрать лучшее из нескольких решений. Это прекрасный инструмент для коммуникации с менеджерами или стейкхолдерами, так как на условный вопрос о том, «почему тут именно такая иконка», вы сможете в ответ показать статистику.

В Яндексе для опросов и тепловых карт использовался собственный инструмент — Ask the crowd. Фактически это интерфейсная оболочка, под капотом которой находятся технологии и респонденты из Toloka.ai.

Решенческие и глубинные интервью

С глубинных интервью обычно начинаются большие проекты. На них мы говорим с пользователями про их боли, потребности, мотивации. Одно интервью обычно длится от 30 минут до нескольких часов.

Хороший пример — раздел о китайских автомобилях на auto.ru. Глубинные интервью помогли понять, как люди относились к китайским авто, какие у них были опасения и как мы могли бы помочь пользователям сориентироваться во множестве новых марок из Китая.

В Яндексе подыскивать респондентов и составлять скрипт дизайнерам помогали UX-исследователи. Дальше — дело техники: созвониться, провести диалог, зафиксировать выводы.

К решенческим интервью мы прибегали на этапе, когда нужно было проверить гипотезу и у нас уже был прототип интерфейса. На интервью мы давали пользователям нужные нам сценарии и проверяли, как они справляются. Если люди долго думали или ошибались, мы задавали им открытые вопросы, чтобы понять, что пошло не так.

Для таких интервью в Яндексе распространён формат User Hour, который проводится через Zoom: у вас есть 60 минут и 3 респондента, подобранных партнёрским агентством. Каждые 20 минут UX-исследователь, который наблюдает за процессом, переключает вас на другого респондента. Бывает достаточно нескольких интервью, а иногда и одного, чтобы поймать явные недочёты интерфейса: например, люди могут не замечать кнопку или неверно считывать сообщение.

Компания оплачивает вознаграждение участникам тестов и подбор пользователей, если этим занимается стороннее агентство.

Теперь давайте посмотрим, что предлагает рынок для проведения тех же исследований.

Демография

Поддерживаются все страны. Фильтры есть практически под любой запрос: от страны и возраста до зарплаты, частоты командировок и вида деятельности.

У Lyssna есть база из более 530 тысяч респондентов. Если нужных респондентов среди них нет, сервис предлагает воспользоваться партнёрской базой. Стоимость и срок подбора респондентов в этом случае будет выше, но если вы планируете выводить продукт на узко специализированный рынок, затраты могут окупиться. Правда, расширение на партнёрскую базу работает только для количественных исследований.

Возможности

Доступны все виды исследований, которые я описывал. Как и с демографией, гибкость максимальная. В тепловых картах можно использовать отдельные картинки, прототипы, собранные из нескольких скриншотов, или подгруженные из Figma. Есть несколько форматов опросов, к ним можно подгрузить макет. Также доступна функция интервью длительностью от 15 минут до 2 часов.

Скорость

Результат количественных исследований — от 10 минут. Правда, этот показатель непосредственно зависит от настроек демографии. Например, для Германии результаты будут готовы в течение нескольких часов, а вот в России потребуется несколько дней. В США — те самые несколько минут.

Подобрать респондентов обещают в течение 3 дней, насколько мне удалось разобраться.

Стоимость

Количественные исследования рекомендуется проводить на 100 респондентов и больше — в противном случае результаты будут не репрезентативны. Один тест на это количество обойдётся примерно в $100. Интервью на 60 минут — примерно $100 за человека. Прибавьте сюда подписку на сервис от $75 в месяц. Можно и без неё, но полноценно и регулярно тестировать так не получится. Впрочем, подписка понадобится практически для любого подобного сервиса.

lyssna.com

Демография

Здесь всё очень похоже на Lyssna. Страны примерно те же, настроек чуть меньше, что даже удобнее: легче настроить демографию. Количество респондентов — 200 тысяч.

Возможности

Из тех видов исследований, о которых мы говорим в обзоре, есть только интервью с пользователями — от 30 до 120 минут. Сервис подойдёт для глубинных и решенческих интервью. А вот тестов на макетах и прототипах, увы, нет.

Тепловые карты тоже есть, но только для тестов сайта, который уже запущен, по аналогии с Яндекс.Метрикой. Макеты или прототип проверить не получится.

Скорость

Найти информацию о том, как быстро подбирают респондентов, мне не удалось. Возможно, это связано с принципом работы сервиса — чем больше вознаграждение, тем быстрее поиск.

Стоимость

Вознаграждение считается отдельно — рекомендуется от $20. Впрочем, есть ощущение, что для рынков новых индустриальных стран — например, Индии — хватит и меньшей суммы. К тому же, можно поставить сначала минимум и увеличивать только в случае, если респонденты идут слишком неохотно. Подписка за использование сервиса — от €40 в месяц.

hotjar.com

Демография

Здесь всё более аскетично: стран немного — Россия, Казахстан, Беларусь. Из настроек — пол, интересы, возраст. Причём фильтр по интересам нельзя совместить с другими. Вероятно, база респондентов не очень большая. Но есть и свои плюсы, о них — дальше.

Возможности

Прекрасно подойдёт для тестирования макетов и прототипов через скриншоты с тепловой картой — эта фича максимально похожа на ту, которой мы пользовались в Яндексе. Посмотреть реальный пример результата можно по ссылке. Вот бы все сервисы предоставляли такое наглядное демо.

Также есть все виды опросов. Каждый опрос проходит через 100 респондентов — оптимальное количество, правда, изменить число нельзя. Из необычного — доступны офлайн-опросы, а также тестирование видеороликов.

Скорость

Я несколько раз запускал тестирование макетов и прототипов — результат приходил примерно через сутки, хотя в презентации сервиса говорится, что может уйти до трех дней.

Стоимость

Тест макета или прототипа — 1 200 рублей. Цены на опросы лучше смотрите на сайте: они варьируются от типа и сложности.

Lyssna — ux-лаборатория в онлайне, где можно исследовать продукт практически под любым углом. Если требуются только интервью, дешевле будет обратиться к Hotjar. Оба сервиса резонно использовать скорее для исследований зарубежной аудитории — цена тестирований довольно высокая, но это особенность рынка и более дешёвых альтернатив мне найти не удалось.

Тестирования в России легче и дешевле проводить через Яндекс.Взгляд. Если нужно провести интервью, можно обратиться к сервису Fabuza или напрямую связаться с агентством по рекрутменту респондентов.

Есть и альтернативы этим трём сервисам. Например, UXtweak и Useberry — прямые конкуренты Lyssna, которые довольно похожи по функциональности, но чуть сложнее в использовании. В русском сегменте обратите внимание на Pathway — чуть дороже, зато есть возможность дотянуться до пользователей вне РФ: сделать это можно по запросу через поддержку.

Кстати, если вы обладаете знаниями фронтенда, то можете сделать собственный аналог яндексового Ask the crowd. Дальше остаётся только подключить его к Toloka — это позволит сэкономить на поиске и ответах респондентов: цена за ответ начинается от нескольких центов. Полагаю, это связано с тем, что сервис заточен под обучение нейросетей и с большим ценником за пользователя экономика просто не сошлась бы.

Если вы знаете другие удачные сервисы или агентства, которые могут помочь в подборе респондентов — пожалуйста, поделитесь в комментариях.