Почему пользовательские интервью не работают
Перевод статьи исследовательницы Марии Росала для Nielsen Norman Group.
Краткий обзор: пользовательские интервью как инструмент часто используются не по назначению, их проведение не планируются и данные не анализируются должным образом, а стейкхолдеры не видят ценности в их проведении.
Пользовательские интервью — важный генеративный метод для UX. Генеративные методы (такие как интервью и фокус-группы) дают знания. Оценочные методы же (например, юзабилити-тест для чернового дизайна), напротив, проверяют гипотезы. Когда интервью проходят хорошо, мы узнаем от наших пользователях их:
- мысли;
- убеждения;
- ментальные установки;
- опыт.
Эти знания помогают нам создавать хорошие продукты и услуги, удовлетворяя реальные потребности пользователей, а не воображаемые. Если вы выделите время, чтобы поговорить с людьми, которые будут использовать ваш продукт или услугу (до того, как вы начнете проектировать), это может открыть вам глаза на вещи, которые вы в противном случае не могли бы узнать — даже если вы регулярно проводите юзабилити-тесты.
Тем не менее плохие интервью приводят к неправильным решениям, которые в конечном итоге могут нанести вред как организации, так и ее клиентам. Как мы неоднократно говорили, отличный пользовательский интерфейс, основанный на некорректных функциях, потерпит неудачу. В этой статье описываются четыре распространенные проблемы, возникающие в пользовательских интервью, а также решения для борьбы с ними.
Проблема первая: неверно поставленная цель
Некоторые команды UX-специалистов проводят пользовательские интервью, чтобы получить информацию, которую на самом деле с помощью данного метода извлечь нельзя. Вот некоторые примеры исследовательских вопросов, на которые нельзя дать корректный ответ в ходе интервью:
- Какой цвет лучше всего влияет на впечатление пользователя о бренде или продукте?
- Будут ли люди покупать или использовать наш продукт в будущем?
- Какие функции нужны людям в продукте?
Несмотря на то, что все вышеперечисленные вопросы являются хорошим обоснованием для того, чтобы провести исследование, на них нельзя будет дать достоверный ответ при интервьюировании людей, поскольку в этих вопросах идет речь именно о поведении. Интервью не дают достоверных данных о поведении пользователей. Вы можете узнать об их поведении гораздо больше, если будете наблюдать за ними.
Давайте рассмотрим это на примере. Представьте, что дизайнер хочет узнать, какой цвет лучше всего подходит для фона страницы в конкретном дизайне. Она проводит интервью, в которых показывает людям макеты и спрашивает их, что они выберут. Есть несколько допущений, которые делают этот подход неприемлемым.
- Участники «предпочитают» цвет. Если вы спрашиваете, какой цвет они предпочитают, это говорит о том, что они должны думать о цвете и, соответственно, иметь определенное мнение. Однако у них его может и не быть — своим вопросом вы заставляете их это мнение сформировать (это называется эффектом запроса — query effect).
- Ответ пользователя в интервью — это точное представление его реальных ощущений по поводу цвета страницы. Действительно, в настоящий момент некоторым участникам может больше нравиться синий, а не фиолетовый фон, но это не означает, что они будут иметь такое же предпочтение при использовании продукта в реальной обстановке за пределами юзабилити-лаборатории.
- Цветовые предпочтения влияют на общее восприятие продукта пользователем.Даже если пользователям действительно нравится или не нравится этот цвет, если они испытывают по отношению к нему какие-либо другие эмоции, это не означает, что их предпочтение будет значимо влиять на их общее восприятие дизайна или даже всей организации. Цвет фона — лишь один из многих факторов (среди которых также есть удобство использования, полезность, информационная ценность и так далее), которые влияют на его общее восприятие.
Чтобы достичь цели исследования в этом примере, разработчик должен вместо этого провести исследование желанности (закрытый выбор слов); типичным примером является пятисекундный тест.
Решение: выберите метод исследования, основанный на исследовательском вопросе
Ваш исследовательский вопрос всегда должен определять, какой метод исследования вы используете. Например, если вы хотите узнать, смогут ли люди использовать ваш дизайн, нужно наблюдать, как они взаимодействуют с ним (а не задавать об этом вопросы в интервью).
С другой стороны, если вы хотите понять мысли людей, впечатления или восприятие опыта, то нет лучше способа, чем провести с ними хорошие интервью.
Немногие команды UX-специалистов закладывают время, чтобы определить исследовательские вопросы. Но именно этот подход поможет сфокусировать исследование и понять, какие методы наилучшим образом подходят для ответа на указанные вопросы.
Проблема вторая: стейкхолдеры не вовлечены ни в процесс интервью, ни в получение результатов
Часто стейкхолдеры не полностью понимают различия между методами исследования. Для них все это эквивалентные исследования. Такое отношение может привести к двум проблемам:
- Команды не получают время для проведения пользовательских интервью в начале проекта, потому что стейкхолдеры думают, что они уже знают достаточно из аналитики или из баек отдела продаж.
- Инсайты из интервью часто принимаются со скептицизмом и провоцируют ужасные ответы, такие как «Мы уже знали это» или «Это не может быть правдой. У моей невестки был другой опыт».
Решение: обучить стейкхолдеров, объяснить им, как расставлять приоритеты в исследовательских вопросах
Исследование становится успешным, когда стейкхолдеры (i) понимают цели исследования, (ii) осознают, почему конкретный метод исследования можно использовать, а другой — нельзя, и (iii) соглашаются на это все с самого начала.
Если уже определили стейкхолдеров, которые могут быть быть против вашей работы, отличный способ превратить их в союзников — пригласить поучаствовать в подготовке к исследованию.
- Пригласите стейкхолдеров на воркшоп, где вы объясните выбор метода исследования и важность постановки исследовательских вопросов. Затем попросите их внести свой вклад в расстановку приоритетов в исследовательских вопросах. Стейкхолдеры также могут помочь, предлагая собственные вопросы.
- Используйте точечное голосование или матрицу приоритетов, чтобы проранжировать исследовательские вопросы в порядке важности вместе с командой и стейкхолдерами.
Существует четыре причины, по которым подключить стейкхолдеров в исследование выгодно:
- Более вероятно, что результаты будут приняты, поскольку стейкхолдеры приложили руку к подготовке исследования, поэтому чувствуют некоторую причастность.
- Это способствует установлению прочных отношений между бизнесом и UX, поскольку подключение стейкхолдеров показывает, что вы учитываете их опыт в бизнес-аспектах.
- Ваши стейкхолдеры могут предложить идеи по другим вопросам исследования, о которых вы не задумывались.
- Это еще один способ рассказать людям вне вашей команды о ценности, которую UX приносит для организации. Воркшоп по определению приоритетов может быть обучающим опытом. С помощью знаний о том, насколько полезны разные методы и когда можно их использовать, ваши стейкхолдеры начнут понимать, что UX — это нечто большее, чем они думали изначально.
Проблема третья: плохое планирование
Многие начинают проводить интервью без подготовки, надеясь на то, что они разберутся, когда начнут говорить с пользователями. Это дорогой способ тратить время участников (и ваше) и собирать бесполезные данные от пользователей.
Без планирования интервью часто могут:
- Быть «блуждающими» и приводить к выводам, которые в лучшем случае поверхностны.
- Включать плохие вопросы, наводящие вопросы или закрытые вопросы, которые мешают участникам исследования высказывать честные мысли или мнение по теме или даже рассказывать свои истории.
В результате данные, полученные в ходе этих интервью, вводят в заблуждение или являются неинформативными для принятия решений.
Решение: спланируйте и проведите пилотаж для гайда интервью
Убедитесь в своем понимании того, что вы хотите узнать. После того, как вы распишете свои исследовательские вопросы, составьте гайд (скрипт), который будет направлять беседу во время интервью. Гайд должен включать в себя несколько хорошо сформулированных вопросов.
Стремитесь к тому, чтобы написать несколько широких и открытых вопросов, чтобы облегчить процесс получения новых знаний (в отличие от того, как работает длинный список закрытых вопросов).
Общие вопросы, используемые в интервью UX-исследования, заставляют пользователей говорить о проблемных местах и опыте, о котором нужно узнать больше. К таким вопросам относятся:
- Опишите типичный день, когда...
- Расскажите мне о времени, когда...
- Если бы вы могли изменить что-то одно, то что это было бы?
Подготовьте ненаводящие пробные вопросы. Примеры хороших вопросов:
- Расскажите мне об этом больше.
- Можете ли вы привести пример?
- Почему вы так думаете?
- Почему это важно для вас?
Проведите пилотаж вашего гайда. Сначала опробуйте гайд интервью на себе, чтобы понять, как бы вы сами ответили на эти вопросы. Даже если задавать вопросы самому себе, можно увидеть, что некоторые из них просто не работают.
Во-вторых, прежде чем проводить интервью с большим количеством пользователей, найдите одного пользователя для пилотного интервью. Не говорите этому человеку, что ваша встреча будет пилотной; скорее, проводите интервью так, как будто это не пилотаж.
Как и в случае с юзабилити-тестированием, перед тем как вернуться к проведению остальных интервью, вы быстро увидите, как можно улучшить ваш гайд.
Планируйте реалистичное расписание. Многие планируют проводить интервью без перерывов. Интервью выматывает (гораздо сильнее, чем модерирование юзабилити-тестов), и если у вас нет перерывов в течение дня, вероятно, последующие интервью будут все более низкого качества.
Если у вас есть запас времени, проводите интервью в течение недели (скажем, двух–трёх в день) вместо того, чтобы проводить их все за один день.
Проблема четвёртая: плохой анализ
Лишь немногие команды уделяют время для корректного анализа результатов интервью, особенно это правдиво, если они работают в методологиях Lean или Agile. К сожалению, когда многие интервью проводятся и анализируются некорректным образом, часто возникают следующие проблемы:
- В отчете упоминаются только запоминающиеся идеи. Некоторые важные инсайты или нюансы потеряны.
- Полученные результаты окрашены личными предубеждениями, поскольку проще одобрить и вспомнить идеи, которые вписываются в созданные ранее представления о пользователях.
Решение: систематически анализируйте транскрипты интервью
Записывайте встречи и разговоры
Лишь небольшое количество команд записывает свои интервью, и еще реже команды записывают встречи. Если вы берете интервью у большого количества людей, то стоит записать их.
Даже делая заметки в самую удобную записную книжку, можно пропустить некоторые детали, поскольку практически невозможно уловить все, что было сказано дословно. Большинство участников исследования не против того, что вы сделаете записи разговора, но нужно спрашивать об этом до непосредственной аудио- или видеозаписи.
Транскрибируйте интервью
Анализ транскриптов работает намного лучше, чем изучение отдельных заметок или фактов по памяти. Чем сильнее вы будете включены в данные, тем с меньшей вероятностью будете делать выводы, которые данными не подкреплены.
Существует много недорогих инструментов для транскрибации, которые помогут сделать перевод аудио в текст за считанные минуты, или можно приватно загрузить свою аудиозапись на YouTube и скачать получившийся транскрипт бесплатно.
(При этом очевидно, что данные будут где-то храниться на сервере, поэтому это решение не всегда может быть корректно с точки зрения конфиденциальности и защиты данных.)
Вовлекайте команды
Пригласите свою команду, чтобы помочь вам проанализировать транскрипты. Этот подход является отличным способом для того, чтобы у членов вашей команды появилась эмпатия к пользователю за счет новых знаний из интервью.
- Забронируйте время для воркшопа на полдня. Дайте своей команде транскрипты для чтения и попросите выделить важные отрывки.
- Напомните своей команде об основных вопросах исследования.
- Создайте обстановку, в которой члены команды будут обмениваться транскриптами, каждый участник прочитает все транскрипты и будет активно взаимодействовать с текстом.
- После этого упражнения поработайте с командой (или в одиночку) — посмотрите выделенный текст и объедините цитаты в значимые группы, которые в конечном итоге станут вашими темами.
Улучшайте свои навыки интервьюера
Интервьюирование — это навык, который требует практики и умения размышлять. Когда у вас будет свободное время, просмотрите проведенные вами интервью. Какие из ваших вопросов не были эффективными? Подумайте, как вы могли бы улучшить вопросы, которые вы задавали, и поработать над общим стилем интервью в целом.
Пригласите коллегу, которому вы доверяете (или своего наставника), чтобы он мог посмотреть ваши записи или транскрипты вместе с вами и дать конструктивный отзыв. Этот процесс занимает время, но определенно того стоит, потому что вы получите большую ценность в будущих исследованиях.
Те, кто вкладывают время в то, чтобы пересмотреть записи или проанализировать записи своих интервью, становятся лучшим практиками.
Занимаюсь качественными исследованиями уже три года, специалист по Customer Development в ИТ-сфере. По любым вопросам и предложениям обращайтесь:
Анастасия, слишком годный контент! Настолько же непривычный для виси, насколько непривычно тут что-то комментировать.
Спасибо! 🙏🏻
Огонь) больше бы такого полезного контента на vc
Приятно, я буду продолжать 🔥💥
Спасибо за информацию, актуально и логически выверено. Единственное, лично моё мнение по крайней мере - не совсем удобно мне как заинтересованному пользователю переходить по ссылке на примеры на английском языке, по типу этой https://www.nngroup.com/articles/testing-visual-design/, где рассказывается про метод желанности, о котором лично я ничего не знаю, но хотел бы узнать. Поскольку английский язык я тоже знаю только на слух, то это для меня, как для обычного читателя затрудняет усвоение текста, пробовал понять текст через гугл - переводчик - всё равно проблемно. Поэтому если была бы хотя бы ссылка на русский ресурс, либо краткое пояснение таких узких тем, то было бы гораздо легче понимать про что ведётся речь в тексте.
Хоть тема и актуальная, но лично я не проф. аналитик, а всего лишь предприниматель )
Но это лишь небольшое дополнение - в целом спасибо за статью, определённо появилась новая пища для размышлений в плане сбора информации о ЦА.