{"id":4536,"title":"\u0410\u043d\u0442\u0438\u0430\u043a\u0441\u0435\u043b\u0435\u0440\u0430\u0442\u043e\u0440: \u0433\u0440\u0430\u043d\u0442\u043e\u0432 \u043d\u0435\u0442, \u043d\u043e \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0442\u044c\u0441\u044f \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e","url":"\/redirect?component=advertising&id=4536&url=https:\/\/vc.ru\/promo\/266261-starthub-moscow&hash=d1d5b6ef1ee3cc36b0c67152c74e57ccabb2fddc028b491a5ce00213a11bf2b4","isPaidAndBannersEnabled":false}
Дизайн
Skyeng

4 ошибки, которые портят пользовательские исследования, — с примерами из практики

Привет! Я Ника, исследователь пользовательского опыта в Skyeng и Skysmart. За два года работы и десятки исследований я поняла две вещи:

  1. Мнение пользователей реально помогает улучшить продукт
  2. Если допускать ошибки в исследовании, можно потратить кучу денег и сил впустую

Я уже писала ранее о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь. А сегодня речь пойдет про ошибки, которые мы допускали в начале, с реальными примерами. Надеюсь, кому-нибудь эта статья поможет сохранить нервы и ресурсы.

Ошибка №1. Пытаться подтвердить свою гипотезу aka confirmation bias

Чаще всего исследованием мы проверяем какую-либо гипотезу. Иногда она основана на реальных данных, а иногда — на личном опыте общения с пользователями. Проверяя гипотезу, важно помнить, что основная наша задача — лучше понять пользователя, узнать его мысли о продукте.

Но иногда исследование превращается в притягивание результатов под представления заказчика, исследователя или других заинтересованных лиц. Начинается поиск скрытого смысла в словах пользователя, манипуляции фактами, которые не укладываются в чье-то представление. И даже сокрытие неудобных цитат.

Стремитесь посмотреть на вопрос глазами пользователя, а не навязывать ему свое мнение. Оставайтесь беспристрастными — делайте открытия!

Случай из практики:

Мы делали исследование о подростках и спросили их, есть ли у них карманные деньги и готовы ли они тратить их на обучение.

Подростки говорят, что готовы оплатить, но только в крайнем случае, когда родители по каким-то причинам не могут этого сделать. В целом тратить свои карманные деньги на уроки они не хотят.

Заказчик уже был готов планировать коммуникацию с подростками так, чтобы мотивировать их тратить карманные деньги на обучение. Но данные исследования напрочь разнесли эту идею. И хорошо — не успели потратить деньги и силы.

Ошибка №2. Исследовать все и сразу

Когда мы запускаем исследование, всегда важно обсудить с коллегами, что мы хотим узнать помимо основной цели: какие вопросы раскрыть глубже, на чем сделать акцент, что добавить.

Но нужно помнить о том, что у каждого исследования должен быть фокус. Когда планируете вопросы для интервью или анкеты, оставьте пользователю свободу для мыслей и ассоциаций, но оставайтесь в рамках одной темы.

Дайте возможность пользователю показать действительно полный и детализированный обзор одной картины, а не просите от него поверхностную экскурсию по всей галерее.

Например, когда я работала в команде реферальной программы и общалась с пользователями о том, почему в регионах хуже рекомендуют продукт друзьям и знакомым, было бы глупо спрашивать респондентов о разговорных клубах, наших интерфейсах и о других отвлеченных темах.

Ошибка №3. Вносить изменения в середине исследования

Правки можно и нужно вносить, но только на этапе проверки гайда — списка вопросов или тем, которые нужно раскрыть во время интервью.

Перед полевым этапом сбора данных с респондентов проведите два-три пробных интервью, чтобы понять, помогают ли вопросы, которые вы составили, раскрыть проблему. И существует ли проблема вообще.

Но когда программа исследования утверждена и собрана часть данных, добавлять новые вопросы и темы не стоит. Если внести изменения, путь интервьюируемого изменится. Вы получите другие инсайты и упустите опыт тех пользователей, в чьи интервью не вошли новые вопросы.

Ошибка №4. Распространять результаты исследования на всех жителей Земли

В качественных исследованиях мы выявляем только феномены. Они нужны для глубокого понимания поведения пользователя, его отношения к продукту. Для такого исследования мы обычно проводим 10–30 интервью, и на их основе никак нельзя получить статистические данные. Если вы получили инсайт о том, что родители не проверяют личный кабинет подростка, это еще не значит, что все родители придерживаются такого поведения.

Любое качественное исследование лучше проверять количественным, и наоборот. Хотя и количественные данные тоже не показывают поведение всего населения земли, страны и города. Количественные исследования позволяют понять мнение выборочной совокупности, представляющей генеральную. Важно учесть все значимые параметры аудитории, которую вы хотите изучить, и только в этом случае (обычно с погрешностью около 5%) вы получите данные, которые можно распространить на исследуемую группу лиц.

Случай из практики:

В наших исследованиях про индивидуальные уроки в Skyeng все ученики твердят, как они любят и ценят домашки. Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе.

И вот мы решили распространить этот инсайт и на другой продукт — разговорные клубы. Туда же тоже ходят наши ученики. Мы потратили на внедрение домашек в клубы много времени и сил. А в итоге оказалось, что для учеников разговорные клубы — это возможность потренировать язык в расслабленной обстановке дружеской беседы, и домашки там совсем не нужны.

Желаю удачи в исследованиях! Они помогают выяснять ценные вещи и экономить ресурсы.

Например, недавно мы хотели разработать приложение для подростков. Они ведь все время проводят в телефонах! А когда пообщались с реальными подростками, они нам сказали — у нас мало памяти в телефонах, так что приложения мы скачиваем только самые-самые нужные. А заниматься предпочитаем с браузера в телефоне. Так мы сэкономили силы и деньги.

Буду рада, если в комментариях поделитесь своим опытом о том, как не допускать ошибки в исследованиях.

Также читайте мой предыдущий материал о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь.

{ "author_name": "Skyeng", "author_type": "editor", "tags": [], "comments": 8, "likes": 21, "favorites": 69, "is_advertisement": false, "subsite_label": "design", "id": 259246, "is_wide": true, "is_ugc": false, "date": "Fri, 18 Jun 2021 10:40:35 +0300", "is_special": false }
0
8 комментариев
Популярные
По порядку
Написать комментарий...
2

Спасибо, Ника! отличная статья!

Круто, что есть случаи из практики — очень применимо :) 

Ответить
1

Спасибо, Дима!

Ответить
1

Всё по делу, это действительно очень распространенные ошибки, которые я тоже встречал, участвуя в разных проектах. Приходилось объяснять по пунктам. Только увы, не все исследования удается от таких ошибок спасти объяснениями 

Ответить
0

Возникли вопросы:
В "первой ошибке" - какую именно гипотезу вы пытались подтвердить, в чем это выражалось и как в итоге исправили (в контексте примера)?

Во второй можно сказать и примера нет, "было бы глупо" это ваша гипотеза, а не пример

В третьей все хорошо, а пример? :)

В четвертой можно подумать что речь идет о трансляции мнения исследуемой группы на всех остальных, а судя по примеру это применение результатов исследования для одного продукта на другой, так о чем речь?

Ответить
1

Иван, спасибо интерес к статье! 

1. Мы не пытались подтвердить, мы проверяли (в "подтверждении" и состоит ошибка). Гипотеза была в том, что мотивированные подростки зачастую сами занимаются подбором курсов для себя, а иногда даже оплачивают их. Мы хотели проверить, действительно ли школьники готовы платить за свое обучение личными деньгами.
Но на интервью ребята рассказали нам, что их личные деньги — это их ЛИЧНЫЕ деньги, а обучение должны оплачивать все же родители.
Так наша гипотеза не подтвердилась, но заказчику очень хотелось обратного, и он нашел в цитатах «крючки», за которые ухватился.
После того, как я поняла, что заказчик исследования неверно интерпретирует данные, мы вместе пересмотрели транскрипты интервью, убедились, что тратиться на обучения подростки не готовы, и закрыли вопрос.

2. Это не гипотеза, а экспертное мнение. И опыт, и любой учебник скажут вам, что нужно держаться линии, иначе можно получить множество поверхностных знаний, но не получить глубокие ответы на исследовательские вопросы. Когда интервьюируемый начинает прыгать с темы на тему, он отвлекается, не удается вспомнить детали и эмоции, что важно для качественного глубинного интервью.

3. К счастью, в моей практике не случалось такого, что этой ошибке удавалось проникнуть глубоко, я всегда пресекаю это, поэтому и полноценного примера не получается.
Но, кажется, что это знакомо многим исследователям, которые работают в большой команде: параллельно идет несколько проектов, и коллеги приносят свои вопросы в твое исследование, которое посвящено другой теме, что называется «заодно спроси и это». Или когда заказчик вспомнил, что скоро будет запуск нового продукта, и просит включить «парочку вопросов» в текущее исследование, когда оно в самом разгаре.

4. Это с какой стороны посмотреть :)
Да, пример с другим продуктом, но и с другой аудиторией: пользователи уроков f2f и разговорных клубов.
Основная мысль в том, чтобы сфокусироваться на одном. Каждому продукту и каждой аудитории нужно свое полноценное исследование, которое позволит получить максимум полезной информации.

Надеюсь, ответила на ваши вопросы :)

Ответить
1

Спасибо! Собственно все это подразумевалось и так, но в виде развернутых ответов стало гораздо более убедительным :) 
Продуктивной вам работы и адекватных клиентов )))

Ответить
1

Большое спасибо, Иван!
И вам успехов ❤️

Ответить
0

_Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе._
Причину и следствие перепутали.

Ответить
Читать все 8 комментариев
OZON самоустраняется при проблеме с возвратом несоответствующего описанию товара

Очень нравится сервис OZON - пункт доставки рядом с домом и в Самаре и в Питере, удобное приложение, но! Есть существенная проблема с процессом продажи у Партнеров магазина - очень хочется его поправить, чтобы и вам и мне было удобнее и спокойнее. Помогите, пожалуйста, советом.
Смысл кратко:
Если покупаешь у партнера Озон и возникает проблема, то…

Тинькофф хитрит со спецпредложением по кэшбеку во Вкусвилл

В июле доступно спецпредложение - кэшбек 10% во Вкусвилл. Тинькофф деактивировал его и перенес дату окончания.

Возможности, как в корпорации, а гибкость, как у стартапа. Что думают о своей работе сотрудники DiDi

Пять представителей российского офиса компании рассказали о корпоративной культуре, рабочем дне, языковом барьере, профессиональных вызовах.

LTE на даче

Небольшой очерк без лишних технических деталей о подключении дачи к 4G интернету.

На конференции «B Word» Илон Маск в очередной раз поменял свою позицию по биткоину

В ходе конференции где также присутствовали Джек Дорси и Кэти Вуд, Маск отметил, что он является владельцем биткойнов не только через баланс Tesla и SpaceX, но и лично владеет биткойнами, эфиром и Dogecoin.

Какие агро-стартапы получили больше всего инвестиций за июль 2021

Общая сумма финансирования проектов из подборки почти $800 млн.

«Стартап-полка»: Самокат набирает производителей альтернативных продуктов

Онлайн-ритейлер Самокат совместно с Ассоциацией Производителей Альтернативных Пищевых Продуктов объявляют сбор заявок от инновационных производителей продуктов для участия в «стартап-полке» Самоката. Лучшие продукты попадут в постоянный ассортимент Самоката в раздел «Супермаркет» уже этой осенью.

Карьерный путь IT-инженера: от Долины к стабильной британской компании через стартапы и психотерапию

Мы поговорили об этом с Георгием, который за 20 лет карьеры сменил несколько компаний и парочку направлений: успел поработать в Кремниевой долине, побыть фрилансером, поруководить стартапом и даже позаниматься консультациями в качестве психотерапевта. Он расскажет о своем пути и поделится инсайтами о смене работы, поиске себя и борьбе с…

Восточная Техника успешно автоматизирует процессы управления складами на базе решения Columbus-WMS
Что случилось со средним классом в США и есть ли пузырь на рынке недвижимости?
Можно ли продолжать работать в той же компании после выгорания: история продакт-менеджера Тинькофф

В Тинькофф — 28 000 сотрудников, и у каждого своя история. Кто-то легко справляется с работой, и после всех задач спокойно отключается и идет отдыхать. Другим все может даваться труднее, даже сложно в уйти в отпуск — думает, «как я всё здесь брошу». Мы начинаем серию статей от лица наших сотрудников, которые делятся своим опытом: какие появлялись…

null