4 ошибки, которые портят пользовательские исследования, — с примерами из практики
Привет! Я Ника, исследователь пользовательского опыта в Skyeng и Skysmart. За два года работы и десятки исследований я поняла две вещи:
- Мнение пользователей реально помогает улучшить продукт
- Если допускать ошибки в исследовании, можно потратить кучу денег и сил впустую
Я уже писала ранее о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь. А сегодня речь пойдет про ошибки, которые мы допускали в начале, с реальными примерами. Надеюсь, кому-нибудь эта статья поможет сохранить нервы и ресурсы.
Ошибка №1. Пытаться подтвердить свою гипотезу aka confirmation bias
Чаще всего исследованием мы проверяем какую-либо гипотезу. Иногда она основана на реальных данных, а иногда — на личном опыте общения с пользователями. Проверяя гипотезу, важно помнить, что основная наша задача — лучше понять пользователя, узнать его мысли о продукте.
Но иногда исследование превращается в притягивание результатов под представления заказчика, исследователя или других заинтересованных лиц. Начинается поиск скрытого смысла в словах пользователя, манипуляции фактами, которые не укладываются в чье-то представление. И даже сокрытие неудобных цитат.
Стремитесь посмотреть на вопрос глазами пользователя, а не навязывать ему свое мнение. Оставайтесь беспристрастными — делайте открытия!
Случай из практики:
Мы делали исследование о подростках и спросили их, есть ли у них карманные деньги и готовы ли они тратить их на обучение.
Подростки говорят, что готовы оплатить, но только в крайнем случае, когда родители по каким-то причинам не могут этого сделать. В целом тратить свои карманные деньги на уроки они не хотят.
Заказчик уже был готов планировать коммуникацию с подростками так, чтобы мотивировать их тратить карманные деньги на обучение. Но данные исследования напрочь разнесли эту идею. И хорошо — не успели потратить деньги и силы.
Ошибка №2. Исследовать все и сразу
Когда мы запускаем исследование, всегда важно обсудить с коллегами, что мы хотим узнать помимо основной цели: какие вопросы раскрыть глубже, на чем сделать акцент, что добавить.
Но нужно помнить о том, что у каждого исследования должен быть фокус. Когда планируете вопросы для интервью или анкеты, оставьте пользователю свободу для мыслей и ассоциаций, но оставайтесь в рамках одной темы.
Дайте возможность пользователю показать действительно полный и детализированный обзор одной картины, а не просите от него поверхностную экскурсию по всей галерее.
Например, когда я работала в команде реферальной программы и общалась с пользователями о том, почему в регионах хуже рекомендуют продукт друзьям и знакомым, было бы глупо спрашивать респондентов о разговорных клубах, наших интерфейсах и о других отвлеченных темах.
Ошибка №3. Вносить изменения в середине исследования
Правки можно и нужно вносить, но только на этапе проверки гайда — списка вопросов или тем, которые нужно раскрыть во время интервью.
Перед полевым этапом сбора данных с респондентов проведите два-три пробных интервью, чтобы понять, помогают ли вопросы, которые вы составили, раскрыть проблему. И существует ли проблема вообще.
Но когда программа исследования утверждена и собрана часть данных, добавлять новые вопросы и темы не стоит. Если внести изменения, путь интервьюируемого изменится. Вы получите другие инсайты и упустите опыт тех пользователей, в чьи интервью не вошли новые вопросы.
Ошибка №4. Распространять результаты исследования на всех жителей Земли
В качественных исследованиях мы выявляем только феномены. Они нужны для глубокого понимания поведения пользователя, его отношения к продукту. Для такого исследования мы обычно проводим 10–30 интервью, и на их основе никак нельзя получить статистические данные. Если вы получили инсайт о том, что родители не проверяют личный кабинет подростка, это еще не значит, что все родители придерживаются такого поведения.
Любое качественное исследование лучше проверять количественным, и наоборот. Хотя и количественные данные тоже не показывают поведение всего населения земли, страны и города. Количественные исследования позволяют понять мнение выборочной совокупности, представляющей генеральную. Важно учесть все значимые параметры аудитории, которую вы хотите изучить, и только в этом случае (обычно с погрешностью около 5%) вы получите данные, которые можно распространить на исследуемую группу лиц.
Случай из практики:
В наших исследованиях про индивидуальные уроки в Skyeng все ученики твердят, как они любят и ценят домашки. Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе.
И вот мы решили распространить этот инсайт и на другой продукт — разговорные клубы. Туда же тоже ходят наши ученики. Мы потратили на внедрение домашек в клубы много времени и сил. А в итоге оказалось, что для учеников разговорные клубы — это возможность потренировать язык в расслабленной обстановке дружеской беседы, и домашки там совсем не нужны.
Желаю удачи в исследованиях! Они помогают выяснять ценные вещи и экономить ресурсы.
Например, недавно мы хотели разработать приложение для подростков. Они ведь все время проводят в телефонах! А когда пообщались с реальными подростками, они нам сказали — у нас мало памяти в телефонах, так что приложения мы скачиваем только самые-самые нужные. А заниматься предпочитаем с браузера в телефоне. Так мы сэкономили силы и деньги.
Буду рада, если в комментариях поделитесь своим опытом о том, как не допускать ошибки в исследованиях.
Также читайте мой предыдущий материал о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь.
Спасибо, Ника! отличная статья!
Круто, что есть случаи из практики — очень применимо :)
Спасибо, Дима!
Всё по делу, это действительно очень распространенные ошибки, которые я тоже встречал, участвуя в разных проектах. Приходилось объяснять по пунктам. Только увы, не все исследования удается от таких ошибок спасти объяснениями
Возникли вопросы:
В "первой ошибке" - какую именно гипотезу вы пытались подтвердить, в чем это выражалось и как в итоге исправили (в контексте примера)?
Во второй можно сказать и примера нет, "было бы глупо" это ваша гипотеза, а не пример
В третьей все хорошо, а пример? :)
В четвертой можно подумать что речь идет о трансляции мнения исследуемой группы на всех остальных, а судя по примеру это применение результатов исследования для одного продукта на другой, так о чем речь?
Иван, спасибо интерес к статье!
1. Мы не пытались подтвердить, мы проверяли (в "подтверждении" и состоит ошибка). Гипотеза была в том, что мотивированные подростки зачастую сами занимаются подбором курсов для себя, а иногда даже оплачивают их. Мы хотели проверить, действительно ли школьники готовы платить за свое обучение личными деньгами.
Но на интервью ребята рассказали нам, что их личные деньги — это их ЛИЧНЫЕ деньги, а обучение должны оплачивать все же родители.
Так наша гипотеза не подтвердилась, но заказчику очень хотелось обратного, и он нашел в цитатах «крючки», за которые ухватился.
После того, как я поняла, что заказчик исследования неверно интерпретирует данные, мы вместе пересмотрели транскрипты интервью, убедились, что тратиться на обучения подростки не готовы, и закрыли вопрос.
2. Это не гипотеза, а экспертное мнение. И опыт, и любой учебник скажут вам, что нужно держаться линии, иначе можно получить множество поверхностных знаний, но не получить глубокие ответы на исследовательские вопросы. Когда интервьюируемый начинает прыгать с темы на тему, он отвлекается, не удается вспомнить детали и эмоции, что важно для качественного глубинного интервью.
3. К счастью, в моей практике не случалось такого, что этой ошибке удавалось проникнуть глубоко, я всегда пресекаю это, поэтому и полноценного примера не получается.
Но, кажется, что это знакомо многим исследователям, которые работают в большой команде: параллельно идет несколько проектов, и коллеги приносят свои вопросы в твое исследование, которое посвящено другой теме, что называется «заодно спроси и это». Или когда заказчик вспомнил, что скоро будет запуск нового продукта, и просит включить «парочку вопросов» в текущее исследование, когда оно в самом разгаре.
4. Это с какой стороны посмотреть :)
Да, пример с другим продуктом, но и с другой аудиторией: пользователи уроков f2f и разговорных клубов.
Основная мысль в том, чтобы сфокусироваться на одном. Каждому продукту и каждой аудитории нужно свое полноценное исследование, которое позволит получить максимум полезной информации.
Надеюсь, ответила на ваши вопросы :)
_Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе._
Причину и следствие перепутали.