Когда делаешь функционал, будь то онбординг или иная поясняющая плашка - всегда возникают вопросы: поймут ли пользователи новую иконку/ фичу и ее описание в попапе/ тултипе/шторке?
Как это протестировать максимально рано, и желательно, сохранив ресурсы иллюстраторов, дизайна и разработки, как временные, так и затратные? на помощь приходят - немодерируемые тесты.
Немодерируемый тест или Unmoderated Remote Panel Studies (URUT) — метод юзабилити-тестирования, в ходе которого участники в удобное время и в удобном месте выполняют задания на сайте, комментируя свои действия. Из доп.плюсов: быстрый и дешевый.
Как проходит:
1.Редактор пишет тест, а дизайнер минимальными ресурсами ставит уже имеющуюся иллюстрацию, схожую по смыслу текста (опционально)* на данном этапе, можно использовать даже иллюстрацию из открытых источников - это тест, вы сделаете выводы и пойдете рисовать свою.
2. Формирую открытые вопросы на понимание моего онбординга/ функционала.
3.Завожу тест в нашей UX Лаборатории
4.Загоняем людей из Толоки в данный тест (на ~200 чел)
5.Через час получаем результаты.
6.Анализируем ответы, делаем выводы. В случае с онбордингом, я замеряю знание, которое появилось у нашей аудитории после просмотра онбординга.
Делю аудиторию на 2 группы:
-первой группе показываю онбординг и задаю вопросы,
-другой группе не показываю онбординг и задаю те же самые вопросы.
А далее - анализирую и получаю интересный рост знаний про продукт у первой группы, например: в авто, вырастили знание о новых автомобилях на 20%, в недвижимости вырастили знание о краткосрочной аренде на 25%, а в электронике что есть опция доставки на 15% и тд.
В каких онбордингах не вырастили знание пользователи знали об этом) => решили рассказать о более значимых вещах для первого опыта использования Авито, но также, проверив предварительно на немодерируемых тестах.
Как итог:
1.Сэкономили ~450 тыс. на перерисовке иллюстраций
2.Подсветили пользователю:
а)что решало его проблемы для первого опыта
б) что ранее ему было неизвестно про ту вертикаль, в которой он совершает поиск в) подсветили функционал, который ему поможет при решении его задач в первых сессиях
Тест гипотез всегда можно сделать дешевле.Этот метод можно применять для каждой инициативы от тестирования ценностного предложения на лендинге до новой иконки и ее описания.
Знали ли вы о таком способе тестирования контента перед АВ? Если нет, то как тестируете, делитесь.