Оффтоп Liana Grigorian
1 062

Как проводить юзабилити-тестирования

Команда компании AIC делится полезными советами о подготовке и процессе юзабилити-тестирований

В закладки

После поиска респондентов и подготовки сценария тестирования вам необходимо подготовить все остальное.

Определение участников

Для начала команде нужно определиться, кто принимает участие в исследованиях. Чаще всего после согласования всех документов (скринера, сценария и NDA) проектом занимаются один-два модератора.

Если в исследовании хочет участвовать кто-то еще, идеальный вариант для наблюдателей — удаленная трансляция теста в другой комнате. Также в этом случае планируются встречи-обсуждения команды после определенного количества тестов. В этом случае результаты не будут искажены, респондент будет максимально спокоен на тесте, и тест будет завершен вовремя.

Если наблюдатели хотят задать больше вопросов респондентам, то они могут собрать их после одного теста и обсудить их перед следующим тестом с модератором. Или — присылать их во время теста модератору.

Когда у нас был проект с продуктом, в котором меняли направление сервиса, менеджер продукта удаленно смотрел тесты в прямом эфире и писал вопросы, которые его интересовали. Так все остались довольны: исследователь собрал полезный отчет, менеджер узнал все, что хотел.

В некоторых компаниях принято, что на тестах наблюдатели присутствуют в одном кабинете с респондентом. На наш взгляд, это не лучшее решение — это оказывает влияние на респондента и искажает результаты исследования. При этом сам тест может стать совсем не о том, о чем предполагалось.

Например, если наблюдатель сильно задержится на обсуждении прошлого опыта респондента или его отношению к косвенному продукту или процессу.

Для проведения тестов вам понадобятся: отдельная комната, техническое оборудование, распечатки документов (NDA, анкеты), тестовые данные. Сценарий тестирования и анкеты готовят исследователи. NDA обычно готовит заказчик.

Техническое оборудование

Минимальный список устройств для тестирования:

  • ноутбук модератора
  • девайс для респондента: ноутбук, ПК или мобильный телефон (зависит от ЦА и того, на чем хотим проверить продукт)
  • микрофон/веб-камера с микрофоном для записи интервью
  • монитор, который будет дублировать экран респондента — чтобы модератор мог видеть все происходящее и записывать данные на своем ноутбуке.

Необходимые программы:

  • Программы для записи видео и аудио
  • Приложение для съемки экрана респондента
  • При наличии наблюдателей: приложение для трансляции происходящего в наблюдательную комнату

Для модератора:

  • Открытый документ со сценарием
  • Таблица/документ для записи данных с интервью

Для получения наиболее наивного опыта респондента важно предоставить ему компьютер или телефон максимально похожий на тот, которым он привык пользоваться. Как минимум — с той же операционной системой. Нельзя давать пользователю Android телефон на iOS, и наоборот. Иначе данные по продукту будут перемешаны с данными телефонов.

На одном из исследований респонденты использовали телефон той же марки, что их собственной, но другой линейки с другими кнопками внизу экрана.

Это повлияло на скорость выполнения заданий — пользователям сложнее давался переход на прошлый экран и переключение между вкладками. Также стало больше ошибок — респондентам было сложно отследить, на каком экране они находятся, и они не могли правильно ввести информацию.

Расписание тестов

Назначая тестирования или предлагая респондентам выбирать удобное им время, не забудьте о необходимом перерыве в один час между тестами. Это время нужно для отдыха модератора и подготовки к следующему исследованию.

Чтобы избежать опозданий, просите респондентов приходить за 15 минут до назначенного времени (эту просьбу может передавать рекрутер) — всегда есть респондент, который не рассчитает дорогу и опоздает.

В дни проведения тестов лучше приходить в тестовую комнату за 30 минут до их начала, чтобы проверить всю аппаратуру, подготовить распечатанные NDA, материалы для исследования и встретить респондента.

Для тестов лучше выбрать непроходную комнату и обеспечить тишину вокруг нее. Можно повесить табличку на дверь, чтобы никто не смутил респондента вторжением посреди теста.

Начало исследования

К вам пришел репондент. Что делать?

  • Предложите воды — ему придется много и долго говорить, а перерыв на поиски может смазать ход теста.
  • Попросите его изучить и подписать NDA. Будьте готовы ответить на вопросы по содержанию документа. Сверьте данные в паспорте с указанными в соглашении — «профессиональные» респонденты могут специально указывать ошибочные данные.
  • Объясните респонденту, что будет происходить дальше. Лучше заранее подготовить речь для этого. Расскажите, что будет делать респондент, сколько будет длится исследование. Поясните, что вы не тестируете его собственные навыки и знания, а стремитесь улучшить продукт. Предупредите о записи разговора и экрана, на котором будет работать респондент, и том, что эти записи не будут распространяться и публиковаться.
  • Включите запись.

Постарайтесь расположить к себе респондента. Он не должен чувствовать себя на экзамене и не должен стараться поскорее отделаться от вас. Убедите респондента в том, что вам действительно важно его мнение.

Если респондент не подходит к вашей ЦА или совершенно не идет на контакт — сразу прощайтесь с ним, не выплачивая вознаграждение. Или выплатите его частично, если респондент пробыл у вас больше 15-20 минут.

Например, если на тестирование нужны пользователи мобильного приложения определенной категории — укажите это требование в скринере. А на тестировании задайте вопрос в общей формулировке: «С каких устройств вы заходите в свой личный кабинет?». Или: «Какими приложениями вы пользуетесь? А какими — для совершения операций?». Профессиональным респондентам не сложно соврать в скринере, но соврать на интервью перед тестом будет сложнее.

Например, на исследование мобильных банков к нам пришел молодой человек. В скринере он отметил, что пользуется банковскими приложениями. Мы попросили рассказать, какими услугами банка он пользуется и как осуществляет операции. В итоге он пожаловался, что ему было сложно разобраться с регистрацией в приложении и он пользуется только сайтом.

Также вы вправе отказаться от респондента, если он сильно опаздывает или приходит в нетрезвом виде (как-то у нас случилось комбо). Затем переходите к сценарию интервью и тестирования.

Как вести себя модератору

В проведении самого теста юзабилити-специалисту пригодятся три качества: эмпатия, любознательность и ясность выражения.

Любознательность

У вас есть отличный шанс выяснить реальное мнение респондента о продукте и способах взаимодействия с ним до того, как человек узнает, исследование какого продукта вы проводите (конечно, если это не лояльный пользователь). Расспросите его подробно об опыте, мнении о продуктах и сложностях с ними.

Не бойтесь повторять вопрос: «Почему?». Есть мнение, что только на заданный в пятый раз «почему» вы узнаете истинную мотивацию и мнение респондента.

Эмпатия

Для лучшего эффекта задавайте как можно меньше вопросов в то время, когда респондент что-то делает. Много вопросов и комментариев модератора сбивают ход мысли респондента и отвлекают его от прохождения задания.

Особенно это касается эмоциональных высказываний — они могут заставить респондента отказаться от своего мнения и пойти по другому пути.

Но это не значит, что вы должны все время молчать, не вникать и не пытаться понять, что делает респондент. Скорее, нужно использовать вопросы как способ раскрыть мысль респондента, в то же время заставляя его чуть больше подумать над своими действиями.

Большинство респондентов стремятся быстрее пройти тест, не задумываясь, работая с продуктом на тестировании: насколько выгодную покупку они совершают и на какие условия соглашаются. Есть несколько техник, которые могут помочь говорить с респондентом и при этом не смазывать его опыт:

  • Эхо. Повторять с вопросительной интонацией последние слова, на которых застрял или прервался респондент. Повторяя слово в слово, мы не вносим своих смыслов и слов, но просим респондента раскрыть свои.
  • Бумеранг. Когда респондент не знает, как поступить и задает вопрос, его можно «возвращать назад». К примеру, респондент говорит: «И как мне теперь оформить заказ?», можно ответить ему вопросом: «А как бы вы поступили в такой ситуации, если бы делали это самостоятельно/ находясь у себя дома?»
  • Коломбо (или Глупый детектив). Во время тестирования модератор занимает позицию незнания и задает очевидные и даже глупые вопросы. При этом не нужно переживать, что вы потеряете авторитет перед респондентами. К примеру, если респондент говорит: «А если я сейчас нажму эту кнопку, то у меня все исчезнет?», следует ответить ему: «Хм, у вас возникла мысль, что если вы нажмете ее, то потеряете все данные?».

Ясность выражения

Старайтесь не использовать технические слова и названия из интерфейса во время тестирования. При этом — не заходите слишком издалека. Заранее разбреритесь в продукте и во всех терминах в нем, которые будут затронуты в тестировании. Также не используйте профессиональную лексику — не все могут знать, что такое дебет или ПИФ.

Как задавать вопросы и общаться с респондентом:

  • Не подсказывайте респонденту, даже если он просит о помощи или фрустрирован.
  • Не давайте респонденту личных оценок и не говорите про него. Также не делайте вслух выводов о его поведении.
  • Не заводите личных отношений с респондентом, чтобы он не старался вам понравится и не говорил социально желательные вещи.
  • Когда респондент начинает рассуждать вслух о том, как было бы правильно делать что-то или о том, как относится к актеру из фильма, который он посмотрел на вашем сервисе — верните его к экрану обсуждать интерфейс. Но если он рассказывает про свой опыт решения проблем оффлайн или делится тем, как это делают его знакомые — расспросите об этом подробнее.
  • Часто попадаются респонденты, которым «все понятно» и «все удобно». Поэтому нужно снижать количество вопросов «Все ли вам понятно?» и задавать более открытые: «Расскажите своими словами, на каких условиях вам предоставляется эта услуга?»; или: «Скажите, сколько будет стоить эта услуга в месяц?»
  • Если респондент говорит, что сам не очень понимает продукт, но его продвинутый друг точно бы разобрался, верните разговор к его опыту. Помогут вопросы: «А лично для вас какую информацию сюда стоит добавить?»

Как и что наблюдать

В процессе интервью старайтесь максимально погрузиться в слова респондента и следуйте за интересом, задавая вопросы. Так вы сможете подробно узнать о его опыте.

Во время юзабилити-тестирования бывает сложно распределить внимание между тем, что респондент говорит и что делает. Находите собственную гармонию — старайтесь пройти с респондентом максимальное количество заданий и при этом не потерять точку зрения и опыт респондента.

Как и что записывать

Для сбора данных есть два варианта: записывать все во время исследования или собирать данные после всех тестов. У каждого из вариантов есть плюсы и минусы.

При сборе данных во время теста есть вероятность пропустить что-то важное из того, что говорит или делает респондент, потому что у вас расфокусировано внимание. Также, если вы записываете не синхронно со словами и действиями респондента, он может забыть, что говорил, пока вы записываете его слова, отвлечься или потерять интерес к обсуждению.

В то же время запись его слов может подстегнуть респондента быть более сосредоточенным и говорить более практичные вещи. Большой плюс такого способа — экономия времени, которое особенно дорого, если вы тестите итерационно.

При сборе данных после теста у вас уйдет дополнительно столько же или даже больше времени, сколько вы потратили на тестирования. Это затраты денег и времени, а данные могут быть готовы слишком поздно к следующей итерации. Но если у вас есть ресурс, вы сможете собрать данные по каждому респонденту максимально подробно. Но так делают далеко не все команды.

С опытом можно научиться записывать слова и действия респондента параллельно и не тормозить его. Но главное — трезво оценивать свои силы и способности к многозадачности, чтобы рвение не было в ущерб тестирования и результатов.

Автор: UX-исследователь в AIC Александра Вязовик

Читайте предыдущие части о ю-тестах:

Кому и зачем нужны юзабилити-тестирования

Как писать сценарии юзабилити-тестирования

Как искать и отбирать респондентов для юзабилити-тестирования

Подписывайтесь на наши соцсети: Вконтакте, Facebook, Telegram

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Liana Grigorian", "author_type": "self", "tags": [], "comments": 0, "likes": 7, "favorites": 6, "is_advertisement": false, "subsite_label": "flood", "id": 44183, "is_wide": false }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 44183, "author_id": 50322, "diff_limit": 1000, "urls": {"diff":"\/comments\/44183\/get","add":"\/comments\/44183\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/44183"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

Комментариев нет 0 комм.

Популярные

По порядку

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления