Как мы тестируем контент онбординга задолго до того, как рисовать иллюстрации и заводить А/В тесты?

Когда делаешь функционал, будь то онбординг или иная поясняющая плашка - всегда возникают вопросы: поймут ли пользователи новую иконку/ фичу и ее описание в попапе/ тултипе/шторке?

Как это протестировать максимально рано, и желательно, сохранив ресурсы иллюстраторов, дизайна и разработки, как временные, так и затратные? на помощь приходят - немодерируемые тесты.

Немодерируемый тест или Unmoderated Remote Panel Studies (URUT) — метод юзабилити-тестирования, в ходе которого участники в удобное время и в удобном месте выполняют задания на сайте, комментируя свои действия. Из доп.плюсов: быстрый и дешевый.

Как проходит:

1.Редактор пишет тест, а дизайнер минимальными ресурсами ставит уже имеющуюся иллюстрацию, схожую по смыслу текста (опционально)* на данном этапе, можно использовать даже иллюстрацию из открытых источников - это тест, вы сделаете выводы и пойдете рисовать свою.

2. Формирую открытые вопросы на понимание моего онбординга/ функционала.

3.Завожу тест в нашей UX Лаборатории

4.Загоняем людей из Толоки в данный тест (на ~200 чел)

5.Через час получаем результаты.

6.Анализируем ответы, делаем выводы. В случае с онбордингом, я замеряю знание, которое появилось у нашей аудитории после просмотра онбординга.

Делю аудиторию на 2 группы:

-первой группе показываю онбординг и задаю вопросы,

-другой группе не показываю онбординг и задаю те же самые вопросы.

А далее - анализирую и получаю интересный рост знаний про продукт у первой группы, например: в авто, вырастили знание о новых автомобилях на 20%, в недвижимости вырастили знание о краткосрочной аренде на 25%, а в электронике что есть опция доставки на 15% и тд.

В каких онбордингах не вырастили знание пользователи знали об этом) => решили рассказать о более значимых вещах для первого опыта использования Авито, но также, проверив предварительно на немодерируемых тестах.

Как итог:

1.Сэкономили ~450 тыс. на перерисовке иллюстраций

2.Подсветили пользователю:

а)что решало его проблемы для первого опыта

б) что ранее ему было неизвестно про ту вертикаль, в которой он совершает поиск в) подсветили функционал, который ему поможет при решении его задач в первых сессиях

Тест гипотез всегда можно сделать дешевле.Этот метод можно применять для каждой инициативы от тестирования ценностного предложения на лендинге до новой иконки и ее описания.

Знали ли вы о таком способе тестирования контента перед АВ? Если нет, то как тестируете, делитесь.