iPhone 13 Pro уже в продаже
Пространство возможностей
ООО «Портативная техника», юр.адрес: 190031, Санкт-Петербург, наб. реки Фонтанки, д.109, литер А, пом. 13Н, ОГРН № 1057811930296
{"id":6525,"title":"\u041a\u0430\u043a \u0441\u0435\u0431\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442 \u0438\u043d\u0432\u0435\u0441\u0442\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u043e\u0440\u0442\u0444\u0435\u043b\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 vc.ru","url":"\/redirect?component=advertising&id=6525&url=https:\/\/vc.ru\/promo\/292716-yandeks-vyhodit-iz-spyachki-alibaba-portit-nastroenie&placeBit=1&hash=7519bee6efc23ae5d635bf3098f678add4979d572b9f05b21135900c9688d27b","isPaidAndBannersEnabled":false}
Дизайн
Skyeng

4 ошибки, которые портят пользовательские исследования, — с примерами из практики

Привет! Я Ника, исследователь пользовательского опыта в Skyeng и Skysmart. За два года работы и десятки исследований я поняла две вещи:

  1. Мнение пользователей реально помогает улучшить продукт
  2. Если допускать ошибки в исследовании, можно потратить кучу денег и сил впустую

Я уже писала ранее о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь. А сегодня речь пойдет про ошибки, которые мы допускали в начале, с реальными примерами. Надеюсь, кому-нибудь эта статья поможет сохранить нервы и ресурсы.

Ошибка №1. Пытаться подтвердить свою гипотезу aka confirmation bias

Чаще всего исследованием мы проверяем какую-либо гипотезу. Иногда она основана на реальных данных, а иногда — на личном опыте общения с пользователями. Проверяя гипотезу, важно помнить, что основная наша задача — лучше понять пользователя, узнать его мысли о продукте.

Но иногда исследование превращается в притягивание результатов под представления заказчика, исследователя или других заинтересованных лиц. Начинается поиск скрытого смысла в словах пользователя, манипуляции фактами, которые не укладываются в чье-то представление. И даже сокрытие неудобных цитат.

Стремитесь посмотреть на вопрос глазами пользователя, а не навязывать ему свое мнение. Оставайтесь беспристрастными — делайте открытия!

Случай из практики:

Мы делали исследование о подростках и спросили их, есть ли у них карманные деньги и готовы ли они тратить их на обучение.

Подростки говорят, что готовы оплатить, но только в крайнем случае, когда родители по каким-то причинам не могут этого сделать. В целом тратить свои карманные деньги на уроки они не хотят.

Заказчик уже был готов планировать коммуникацию с подростками так, чтобы мотивировать их тратить карманные деньги на обучение. Но данные исследования напрочь разнесли эту идею. И хорошо — не успели потратить деньги и силы.

Ошибка №2. Исследовать все и сразу

Когда мы запускаем исследование, всегда важно обсудить с коллегами, что мы хотим узнать помимо основной цели: какие вопросы раскрыть глубже, на чем сделать акцент, что добавить.

Но нужно помнить о том, что у каждого исследования должен быть фокус. Когда планируете вопросы для интервью или анкеты, оставьте пользователю свободу для мыслей и ассоциаций, но оставайтесь в рамках одной темы.

Дайте возможность пользователю показать действительно полный и детализированный обзор одной картины, а не просите от него поверхностную экскурсию по всей галерее.

Например, когда я работала в команде реферальной программы и общалась с пользователями о том, почему в регионах хуже рекомендуют продукт друзьям и знакомым, было бы глупо спрашивать респондентов о разговорных клубах, наших интерфейсах и о других отвлеченных темах.

Ошибка №3. Вносить изменения в середине исследования

Правки можно и нужно вносить, но только на этапе проверки гайда — списка вопросов или тем, которые нужно раскрыть во время интервью.

Перед полевым этапом сбора данных с респондентов проведите два-три пробных интервью, чтобы понять, помогают ли вопросы, которые вы составили, раскрыть проблему. И существует ли проблема вообще.

Но когда программа исследования утверждена и собрана часть данных, добавлять новые вопросы и темы не стоит. Если внести изменения, путь интервьюируемого изменится. Вы получите другие инсайты и упустите опыт тех пользователей, в чьи интервью не вошли новые вопросы.

Ошибка №4. Распространять результаты исследования на всех жителей Земли

В качественных исследованиях мы выявляем только феномены. Они нужны для глубокого понимания поведения пользователя, его отношения к продукту. Для такого исследования мы обычно проводим 10–30 интервью, и на их основе никак нельзя получить статистические данные. Если вы получили инсайт о том, что родители не проверяют личный кабинет подростка, это еще не значит, что все родители придерживаются такого поведения.

Любое качественное исследование лучше проверять количественным, и наоборот. Хотя и количественные данные тоже не показывают поведение всего населения земли, страны и города. Количественные исследования позволяют понять мнение выборочной совокупности, представляющей генеральную. Важно учесть все значимые параметры аудитории, которую вы хотите изучить, и только в этом случае (обычно с погрешностью около 5%) вы получите данные, которые можно распространить на исследуемую группу лиц.

Случай из практики:

В наших исследованиях про индивидуальные уроки в Skyeng все ученики твердят, как они любят и ценят домашки. Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе.

И вот мы решили распространить этот инсайт и на другой продукт — разговорные клубы. Туда же тоже ходят наши ученики. Мы потратили на внедрение домашек в клубы много времени и сил. А в итоге оказалось, что для учеников разговорные клубы — это возможность потренировать язык в расслабленной обстановке дружеской беседы, и домашки там совсем не нужны.

Желаю удачи в исследованиях! Они помогают выяснять ценные вещи и экономить ресурсы.

Например, недавно мы хотели разработать приложение для подростков. Они ведь все время проводят в телефонах! А когда пообщались с реальными подростками, они нам сказали — у нас мало памяти в телефонах, так что приложения мы скачиваем только самые-самые нужные. А заниматься предпочитаем с браузера в телефоне. Так мы сэкономили силы и деньги.

Буду рада, если в комментариях поделитесь своим опытом о том, как не допускать ошибки в исследованиях.

Также читайте мой предыдущий материал о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь.

{ "author_name": "Skyeng", "author_type": "editor", "tags": [], "comments": 8, "likes": 22, "favorites": 74, "is_advertisement": false, "subsite_label": "design", "id": 259246, "is_wide": true, "is_ugc": false, "date": "Fri, 18 Jun 2021 10:40:35 +0300", "is_special": false }
0
8 комментариев
Популярные
По порядку
Написать комментарий...

Спасибо, Ника! отличная статья!

Круто, что есть случаи из практики — очень применимо :) 

2

Спасибо, Дима!

1

Всё по делу, это действительно очень распространенные ошибки, которые я тоже встречал, участвуя в разных проектах. Приходилось объяснять по пунктам. Только увы, не все исследования удается от таких ошибок спасти объяснениями 

1

Возникли вопросы:
В "первой ошибке" - какую именно гипотезу вы пытались подтвердить, в чем это выражалось и как в итоге исправили (в контексте примера)?

Во второй можно сказать и примера нет, "было бы глупо" это ваша гипотеза, а не пример

В третьей все хорошо, а пример? :)

В четвертой можно подумать что речь идет о трансляции мнения исследуемой группы на всех остальных, а судя по примеру это применение результатов исследования для одного продукта на другой, так о чем речь?

0

Иван, спасибо интерес к статье! 

1. Мы не пытались подтвердить, мы проверяли (в "подтверждении" и состоит ошибка). Гипотеза была в том, что мотивированные подростки зачастую сами занимаются подбором курсов для себя, а иногда даже оплачивают их. Мы хотели проверить, действительно ли школьники готовы платить за свое обучение личными деньгами.
Но на интервью ребята рассказали нам, что их личные деньги — это их ЛИЧНЫЕ деньги, а обучение должны оплачивать все же родители.
Так наша гипотеза не подтвердилась, но заказчику очень хотелось обратного, и он нашел в цитатах «крючки», за которые ухватился.
После того, как я поняла, что заказчик исследования неверно интерпретирует данные, мы вместе пересмотрели транскрипты интервью, убедились, что тратиться на обучения подростки не готовы, и закрыли вопрос.

2. Это не гипотеза, а экспертное мнение. И опыт, и любой учебник скажут вам, что нужно держаться линии, иначе можно получить множество поверхностных знаний, но не получить глубокие ответы на исследовательские вопросы. Когда интервьюируемый начинает прыгать с темы на тему, он отвлекается, не удается вспомнить детали и эмоции, что важно для качественного глубинного интервью.

3. К счастью, в моей практике не случалось такого, что этой ошибке удавалось проникнуть глубоко, я всегда пресекаю это, поэтому и полноценного примера не получается.
Но, кажется, что это знакомо многим исследователям, которые работают в большой команде: параллельно идет несколько проектов, и коллеги приносят свои вопросы в твое исследование, которое посвящено другой теме, что называется «заодно спроси и это». Или когда заказчик вспомнил, что скоро будет запуск нового продукта, и просит включить «парочку вопросов» в текущее исследование, когда оно в самом разгаре.

4. Это с какой стороны посмотреть :)
Да, пример с другим продуктом, но и с другой аудиторией: пользователи уроков f2f и разговорных клубов.
Основная мысль в том, чтобы сфокусироваться на одном. Каждому продукту и каждой аудитории нужно свое полноценное исследование, которое позволит получить максимум полезной информации.

Надеюсь, ответила на ваши вопросы :)

1

Спасибо! Собственно все это подразумевалось и так, но в виде развернутых ответов стало гораздо более убедительным :) 
Продуктивной вам работы и адекватных клиентов )))

1

Большое спасибо, Иван!
И вам успехов ❤️

1

_Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе._
Причину и следствие перепутали.

0
Читать все 8 комментариев
«На новую систему потратили не более 1 млн рублей»: баттл предпринимателей о том, как модель управления бизнесом лучшая

Владельцы «Перилаглавснаб», Gartel, Compleader и «Архитектуры благополучия» — о том, почему модные «бирюзовые организации» не для всех, как выдержать трёхкратный рост бизнеса и не работать по 14 часов в день.

Из жизни клуба
Готовы выбрать победителя премии «Экспортер года eBay — 2021»?
Сергей Галицкий о деньгах: «В гробу карманов нет. Два завтрака съесть не сможешь» Статьи редакции

В сентябре бизнесмен сообщил о своей болезни, которая мешает ему работать.

Во-первых, следующее поколение должно иметь мотивацию. Во-вторых, в гробу карманов нет. Ты заработал в этом обществе. И ты должен отдавать этому обществу. Два завтрака ты съесть не сможешь, как ни пытайся. Второй завтрак уже будет полдником.

Ты не можешь употребить больше двух-трёх тысяч калорий в день. Тебе не нужно столько. Не нужно двадцать машин, тридцать самолетов.

Сергей Галицкий
цитата по Sports.ru
Управление репутацией на Otzovik.Как убить негативный рейтинг/удалить негативные отзывы и выдвинуть хорошие отзывы вверх
Нужны ли в России сити-фермы

И появятся ли грядки на крышах пятиэтажек.

re-thinkingthefuture.com
Переход бизнеса на Apple: нет причин отказывать себе в удовольствии

Работать на устройствах Apple – это просто, удобно, приятно, современно. А еще, как продолжают считать некоторые – дорого и не для всех. Однако это не так: хотя «яблочные» устройства и работают в каждой международной корпорации из Fortune 500, сегодня они доступны практически любой SMB-компании, стартапу, и даже общеобразовательной школе. Причина кроется как в самих технологиях Apple, так и в выстроенных вокруг них сервисных программах.

Как мы проводили командную ретроспективу в Minecraft

Рассказываем историю, на что стоит обратить внимание при проведении командного мероприятия в игре Minecraft, какие грабли могут быть, как организовать онлайн- и офлайн-участие.

Как традиционному малому бизнесу превратиться в стартап: план действий

Сейчас в России предприниматели переходят из традиционного малого бизнеса в стартапы очень редко — меньше чем в 0,02% случаев. Это не больше 1 000 стартапов из около 6 млн предприятий малого бизнеса. Поговорим о том, что мешает предпринимателям и как действовать, если есть желание создать стартап.

Там обслуживают «зеленых», ЛГБТ, мигрантов, креаторов, там пьют кофе и проводят мероприятия — и это все о… банках!

Цифровизация меняет все сферы, даже такую консервативную как банки. Да, пока еще большинство банков — это ряд клерков в окошечках, но будущее уже заглядывает в эти окошечки.

Скоро. Во всех банках страны:)
Яндекс: очередной косяк алгоритмов (Кью)

На мой аккаунт прилетел вопрос от Тоня Самсонова Руководитель сервиса вопросов и ответов, Яндекс, BA Sociology, мама троих сыновей • www.instagram.com/toniasamsonova/

Обзор книги: «От нуля к единице: заметки о стартапах или как построить будущее»
null