«Пойдем, выйдем»: подробный гайд по коридорным тестам

Мы в Carrot quest помогаем нашим клиентам лучше понимать их пользователей и общаться с ними с помощью целого набора связанных между собой инструментов (чат, email-рассылки, поп-апы, Web Push) и таким образом ускоряем рост онлайн-бизнесов.

Мы уже говорили про нелегкую, но интересную жизнь продактов и коридорные тесты с ребятами из Product Heroes и рассказывали, почему коридорки так важны для всех будущих и действующих продуктовых героев. У ребят есть короткая инструкция на этот счет.

Мы подготовили для вас пошаговый гайд, который поможет вам разобраться во всем от и до: как правильно и с пользой для продукта организовать и провести коридорный тест, как фиксировать и хранить инсайты и каких ошибок можно избежать.

Коридорный тест. Это быстрое юзабилити-тестирование разрабатываемого интерфейса, цель которого — убедиться, что пользователи воспринимают его так, как задумано разработчиками, и найти возникающие при его использовании барьеры.

Допустим, вы собираетесь выпустить обновление. Чтобы понять, что выбрано правильное направление, команда собирает прототип. Прототип нужно показать нескольким пользователям. И придумать для них легенду и задание, которые позволят сверить восприятие макета реальными людьми с ожиданиями команды.

Такими пользователями могут быть ваши коллеги, не задействованные в разработке обновления, или просто случайные прохожие. Одно такое интервью займет от 5 до 15 минут. Это и есть коридорный тест.

Коридорные тесты получили такое название, потому что они помогают максимально быстро получить обратную связь — достаточно просто выйти в коридор и провести такой тест с тремя-пятью коллегами. И вот вы уже получили фидбэк, потратив минимум времени.

Помимо времени, коридорные тесты сэкономят вам деньги. Они помогают сократить и оптимизировать стандартный цикл разработки: вы получаете фидбэк и устраняете ключевые проблемы еще до релиза.

При этом не обязательно буквально «идти в коридор», то есть проводить тест очно. Большинство продуктовых компаний проводят такие тесты удаленно, потому что их пользователи запросто могут быть очень далеко. Даже в другом полушарии.

Коридорные тесты не используются, чтобы определить, какой вариант дизайна лучше. Для этой цели больше подходят A/B-тесты. Задача же коридорных тестов — найти очевидные ошибки дизайна, которые мешают пользователям.

С помощью коридорных тестов можно тестировать не только интерфейс приложений и программ, но, например, лендинги, письма и даже статьи со всеми составляющими (картинки, тексты, СТА и другое).

Пример первый, в котором Женя из команды продукта проводит коридорный тест стартовой страницы Carrot quest. На страницу в качестве эксперимента был добавлен квиз с вопросами, подсказывающими, каких целей помогает достичь сервис, и СТА «Начать знакомство с сервисом»:

В этом коридорном тесте не все идеально. После чтения этого гайда можно попробовать найти ошибки, чтобы закрепить материал :)

Чтобы познакомиться с сервисом, пользователю предлагается ответить на несколько вопросов, а затем оставить свою почту, на которую мы отправим обучающие материалы. Наш сценарий выглядит так: пользователь прошел опрос → оставил почту.

Аня, которая участвовала в коридорном тесте в качестве клиента, после прохождения опроса сказала, что, скорее всего, не оставила бы почту, потому что она «еще ничего не поняла», а от нее «уже что-то хотят». Сценарий не работает, клиент не хочет оставлять почту.

В результате мы поняли, что квиз нужно изменить так, чтобы показывать не только ценность, но и механику работы сервиса, а формулировки сделать более конкретными.

Пример второй, в котором мы снова тестируем стартовую страницу:

В этом примере респондент после заполнения анкеты говорит, что он ждал, что после заполнения анкеты ему покажут, как работает сервис, но вместо этого ему предлагают оставить почту, куда отправятся обучающие материалы. Возникает риск, что клиент «отвалится» на этом этапе.

Этот тест окончательно убедил нас в том, что квиз нужно изменить, сместив фокус в сторону задач, которые стоят перед клиентом, и конкретных фичей, которые есть в сервисе.

Пример третий, в котором email-маркетолог Carrot quest Полина проводит коридорное тестирование письма с приглашением настроить лидогенерацию через поп-апы:

Участница коридорного теста, которая по легенде получила такое письмо, говорит, что ее сбивает анимация. Анимация была ошибкой и Полина решила ее убрать.

Коридорный тест Полины тоже можно сделать лучше. Проанализируйте его еще раз после чтения этого гайда :)

Допустим, мы уже подготовили интерфейс или лендинг для теста. Коридорный тест начинается с определения сценария, которому в идеале будет следовать пользователь при взаимодействии с ними. Сценарий — это шаги, которые проходит пользователь для достижения результата. По большому счету, это очень упрощенный вариант customer journey map.

Вот Женя тестирует, как люди реагируют на появление базы знаний вместо онлайн-чата с консультантом:

Сценарий можно изобразить так:

Сценарий — карта, которая помогает анализировать поведение пользователя на каждом этапе и выявлять барьеры, которые мешают ему получить результат. Задача исследователя — найти их, а затем устранить.

Следующий шаг — составить легенду, которую мы будем рассказывать пользователю. В этом нам также поможет сценарий.

Шаблон легенды:

Пример легенды: «Представь, что ты — собственник небольшого интернет-магазина. Ты хочешь принимать платежи от своих пользователей прямо на сайте. Для этого тебе необходимо установить онлайн-кассу, но ты не знаешь, как происходит процесс установки. Ты зашел на сайт поддержки и видишь эту страницу».

Для коридорных тестов не всегда нужно искать целевых респондентов. Во многих случаях тесты можно проводить с командой. Если речь идет о базовых вещах, ребята из вашей команды легко обнаружат проблемы, с которыми, скорее всего, столкнутся и реальные пользователи.

Но командой можно обойтись не всегда. Например, это не вариант, когда нужно оценить интерфейс с точки зрения нового пользователя, который еще ни разу не соприкасался с вашим продуктом.

Допустим, речь идет об обновлениях в онбординге. А все ваши коллеги его уже прошли. Или нужно убедиться в том, что вы выбрали формулировки, понятные не только тем, кто погружен в контекст вашей работы. Кроме того, бывает, что для теста нужны респонденты с определенными профессиональными ролями и определенным опытом.

Что можно сделать:

Пример приглашения респондентов для участия в коридорном тесте через Telegram

Синхронизироваться с респондентами по времени, каналам связи и задачам теста можно через Calendly:

Сколько респондентов понадобится

Для коридорных тестов действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить основные проблемы.

Как только информация начинает повторяться — пора остановиться. для получения полного представления о существующих проблемах обычно нужно провести от 5 до 15 интервью.

На практике эта цифра складывается из нескольких итераций, в каждой из которых принимает участие от 3 до 5 респондентов. Если уже в первой итерации три респондента успешно взаимодействовали с вашим интерфейсом и не встретили препятствий, можно остановиться.

Если позволяет время, провести еще одно, контрольное, интервью. А вот если из пяти респондентов трое испытывали трудности, есть повод для еще одной итерации.

Правило 1: Откройте все материалы заранее

Не утруждайте пользователя поиском и загрузкой письма, статьи и лендинга на самом тестировании.

Правило 2: Записывайте видео

Почему вам понадобится запись?

При съемке важно соблюсти два момента: должно быть видно лицо респондента и интерфейс.

Вот пример видеосъемки, когда контекст не видно:

Пример коридорки, когда контекст видно, но не видно лицо:

Пример коридорки, когда видно контекст и лицо:

Ещё стоит обратить внимание на то, как пользователь управляет экраном.

Варианта два:

В этом случае респонденту придется говорить, что он прочитал, и просить вас листать дальше. Это хороший вариант, когда вам надо узнать смысл каждого блока или вы технически не можете дать пользователю доступ к экрану.

Этот вариант выигрышнее. вы видите как человек двигает мышкой, мышка показывает, куда он смотрит, и контекст становится понятнее. вы избегаете ситуации, когда надо спрашивать, листать ли дальше — обычно это немного сбивает.

Хак от нашей команды продукта. Очень удобно коридорить вдвоем, даже если вы проводите коридорный тест удаленно и записываете интервью в Zoom. В этом случае один человек проводит сам тест, а второй — делает заметки.

Если тест очный, это тем более удобная конфигурация, которая позволяет одному из вас полностью сосредоточиться на беседе, пока второй фиксирует результаты. У нас коридорные тесты часто вместе проводят продакт и дизайнер продукта.

В самом начале обязательно нужно задать контекст, чтобы человек понимал, какую задачу он должен решить. Нет контекста — человек придумает себе задачу и начнет фантазировать о том, что не так с интерфейсом и как его улучшить. Чтобы задать контекст, нужно рассказать легенду.

Следующий шаг — задать три вопроса. Их можно задавать итерационно. Например, показать одну часть лендинга и задать эти вопросы, потом другую — и снова задать те же самые вопросы.

Три главных вопроса для коридорных тестов: «Что видишь?», «Что понимаешь?», «Что хочешь сделать?»

«Что видишь?»

Это вводный вопрос, цель которого — понять, как человек ориентируется в контексте, в котором он находится, что привлекает его внимание в первую очередь.

«Что понимаешь?»

Ответ на этот вопрос помогает выяснить, как человек интерпретирует информацию, понял ли он ценностное предложение или у него возникают дополнительные вопросы.

Вот отличный пример того, как работает этот вопрос в сочетании с первым. Лера из команды нашего американского продукта Dashly тестирует, как клиент воспринимает лендинг:

«Что хочешь сделать?»

Другие варианты — «Как думаешь, что произойдет при нажатии на эту кнопку» или «Куда бы ты нажал, чтобы сделать это?» Эти вопросы направлены на выяснение целей каждого действия и ожиданий от интерфейса.

В примере выше хорошо видно, как этот вопрос работает на практике.

Ответы на эти вопросы дадут вам знание о том, что понял человек из вашего лендинга, что он увидел, а что — нет. Последний момент может быть особенно важным, особенно если пользователи массово не замечают кнопку «Купить».

А теперь о вопросах, которые могут возникать во время тестирования, но которые стоит задавать с большой осторожностью:

«Что бы вы изменили на сайте или лендинге?»

Есть риск, что респондент начнет фантазировать о фичах, которые нужно добавить. Всегда нужно выяснять, какие проблемы человек хочет решить с помощью фичи, чтобы потом придумать для них решение (и понять, нужно ли вообще решать эту проблему).

«Если мы уберем или добавим эту фичу, вам понравится эта страница?»

Люди плохо прогнозирует будущее, а в ответ на такой вопрос, вероятнее всего, соврут, сами того не желая, потому что в него заложены ваши ожидания. Поэтому вместо этого вопроса лучше изучить путь человека, который привел его к негативному восприятию. Например, спросить «Почему вам важно, чтобы эта фича была?»

Бывает, что коридорный тест превращается в экспертное интервью. Этого помогают избежать четкая постановка задачи, сценарий, легенда и тайминг. Если это все равно происходит, используйте тот же набор ключевых вопросов, чтобы вернуть респондента к выполнению вашего задания.

Теперь вы готовы покритиковать коридорные тесты Жени и Полины и знаете, как их можно улучшить :)

Чтобы синхронизировать все исследования в команде, делиться полезными материалами и контролировать процесс и шэрить результаты, у нас есть отдельный канал в Slack, доска в Favro, папка на «Яндекс.Диске» и специальные встречи.

Вот так выглядит доска в Favro:

Совет: вместе с видео стоит сохранять сами материалы (в том виде, в котором вы показывали их респонденту (прототип или скрин)), сценарий, легенду и краткие выводы.

Вот так выглядит в Favro карточка проведенного интервью:

Для хранения и анализа инсайтов создайте текстовый файл (гуглдок или Notion) или таблицу. Вот пример того, как это делает Костя из команды продукта Carrot quest. Он записывает по пунктам все, что делал респондент в рамках тестирования, и фиксирует все проблемы, которые возникли во время решения задачи, и полученные инсайты.

Отличный вариант для того, чтобы зафиксировать все препятствия, с которыми столкнулись пользователи на лендинге базы знаний Dashly, которую мы недавно зарелизили, придумала Лера из нашей американской команды. Она использовала для фиксирования данных и визуализации Miro.

Результаты коридорных тестов лендинга базы знаний в Dashly: слева — сам лендинг и заметки с новыми вариантами текста и визуальных материалов, справа — все значимые комментарии респондентов, которые необходимо было зафиксировать.

Следующий важный момент при анализе результатов коридорного теста — обсудить результаты коридорных тестов с командой, чтобы синхронизироваться.

В анализе результатов нам поможет сценарий, который мы составляли на этапе планирования. Мы провели тест, у нас есть запись. Смотрим ее и «наносим» на сценарий все препятствия, которые возникли у пользователя на разных этапах. Вот как это может выглядеть на примере теста Жени:

Выявленные препятствия команда устраняет в следующей итерации и затем проводит еще одну серию коридорных тестов, чтобы оценить, насколько удалось упростить движение пользователя по сценарию.

Мы сами проводим очень много коридорных тестов, чаще всего в них участвуют наши коллеги и существующие пользователи. Но иногда нам приходится искать респондентов, которые еще не соприкасались с нашим интерфейсом. Несколько раз нам очень помогали в этом каналы в Telegram, поэтому мы решили поделиться списком таких каналов с вами:

Теперь у вас есть все, чтобы стать королем коридорок.

Дело за малым — начать их проводить.

Не поверите, но эту статью мы тоже коридорили!

#коридорноетестирование #abтестирование