UX исследования, опросы пользователей и их недостатки
Ошибка воспоминания, эффект социальной желательности и ошибка выборки — рассмотрим негативные факторы, которые могут повлиять на результаты исследований.
Ошибка воспоминания
UX исследования опредленно полезный и неотъемлемый элемент на пути улучшения пользовательского опыта. Но сам пользователь, учавствующий в исследованиях, может дать нам неверную информацию, когда возникает ошибка воспоминания. Она может возникнуть если во время исследования участнику требуется вспомнить свой прошлый опыт использования продукта, например в рамках опрос, интервью или когда мы просим простроить участника свои джорней мэп от знакомства с продуктом до текущего момента.
Быть уверенным или проверить что ошибок воспоминания не было — сложно, но что можно сделать чтобы понизить вероятность их возникновения?
- Временной гэп между исследованием и использованием продукта должен быть как можно меньше;
- использовать визуальные/текстовые подсказки, которые помогут вспомнить конкретные аспекты опыта;
- формулировать вопросы таким образом, чтобы они помогали вспомнить конкретные ситуации опыта, которые запомнились более ярко и точно, а не задавать общие вопросы;
- применять методы уточнения ответов, дополнительные вопросы, детализирующие информацию или даже повтор одного вопроса в разных формулировках.
Эффект социальной желательности
В попытке соответствовать социальным ожиданиям поведения, иногда участники исследования выдают желательное поведение за свое и прячут истинное мнение. Так как оно может казаться им не верным, глупым или плохим. Для того чтобы избежать такого эффекта важно создавать доверительную атмосферу и давать понять участнику что неправельных ответов нет.
Как можно помочь участнику исследования не бояться неодобрения и быть честным?
- Использовать формулировки вопросов, которые не склоняют в сторону какого-то ответа;
- донести внятно что исследование проводится анонимно;
- есть вариант когда мы используем абстрактные термины, не привязываясь к личному мнению, в рамках такого подхода мы подбираем объективные критерии из которых выбирает участник;
- в продолжении предыдущего пункта, вариантом такого метода может быть сравнение двух разных продуктов, а не высказывания напрямую мнения о вашем продукте;
- включить контрольные вопросы, на которые известны ответы.
Ошибка выборки
Если группа для исследования была подобрана неправильно, и не является репрезентативной выборкой пользователей продукта, то результаты исследования могут быть искажены.
Например есть перекос в подборке пользователей в сторону какого-то типа, это могут быть те, кто пользуется продуктом уже давно. Данные собранные в таком исследовании могут быть не верны для новых пользователей. Чтобы избежать этой ошибки, важно убедиться что в группе, проходящей исследование достаточно пользователей всех типов и группа сбалансирована.
Как это сделать?
Мы можем использовать случайную выборку — когда каждый пользователь из всей группы пользователей, взаимодеюствующих с продуктом, в равной вероятности может попасть в участники исследования. У такого метожа высокий уровень объективности, так как участники выбираются рандомно и это уменьшает предвзятость. Из минусов, это может быть неэффективным использованием ресурса, так как может потребоваться довольно большое количество участников для адекватной выборки.
Или для сбора, с бОльшей вероятностью, репрезентативной группы мы можем использовать стратифицированную выборку. Она более эффективна в этом плане, потому что изначально мы делимм всех пользовтелей на группы по опредленным критериям, и уже из каждой из этих групп отбираем случаным образом пользователей.
А что еще можно предпринять чтобы избежать ошибки выборки?
- Чем больше участников исследования, тем меньше вероятность ошибки выборки;
- в некоторых случаях можно использовать экспертную выборку, когда участники подбираются в зависимости от их экспириенса и знаний относительно исследуемого предмета;
Когда есть возможность, проводите повторные исследовния в разные периоды времени чтобы обладать полной информацией. Используйте разные источники информации и разные типы исследовнний в комбинации так вы получите наиболее релевантные данные.