{"id":5097,"title":"\u041f\u0440\u0438\u0432\u043b\u0435\u043a\u0438\u0442\u0435 \u0432 \u041c\u043e\u0441\u043a\u0432\u0443 \u0442\u0443\u0440\u0438\u0441\u0442\u043e\u0432 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u043e\u0442 \u0430\u043a\u0441\u0435\u043b\u0435\u0440\u0430\u0442\u043e\u0440\u0430","url":"\/redirect?component=advertising&id=5097&url=https:\/\/vc.ru\/promo\/274398&hash=37380e26d7e18a53827df77f3494106574fc9389fcbf0d03cb47fab2464f807b","isPaidAndBannersEnabled":false}
Дизайн
Skyeng

4 ошибки, которые портят пользовательские исследования, — с примерами из практики

Привет! Я Ника, исследователь пользовательского опыта в Skyeng и Skysmart. За два года работы и десятки исследований я поняла две вещи:

  1. Мнение пользователей реально помогает улучшить продукт
  2. Если допускать ошибки в исследовании, можно потратить кучу денег и сил впустую

Я уже писала ранее о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь. А сегодня речь пойдет про ошибки, которые мы допускали в начале, с реальными примерами. Надеюсь, кому-нибудь эта статья поможет сохранить нервы и ресурсы.

Ошибка №1. Пытаться подтвердить свою гипотезу aka confirmation bias

Чаще всего исследованием мы проверяем какую-либо гипотезу. Иногда она основана на реальных данных, а иногда — на личном опыте общения с пользователями. Проверяя гипотезу, важно помнить, что основная наша задача — лучше понять пользователя, узнать его мысли о продукте.

Но иногда исследование превращается в притягивание результатов под представления заказчика, исследователя или других заинтересованных лиц. Начинается поиск скрытого смысла в словах пользователя, манипуляции фактами, которые не укладываются в чье-то представление. И даже сокрытие неудобных цитат.

Стремитесь посмотреть на вопрос глазами пользователя, а не навязывать ему свое мнение. Оставайтесь беспристрастными — делайте открытия!

Случай из практики:

Мы делали исследование о подростках и спросили их, есть ли у них карманные деньги и готовы ли они тратить их на обучение.

Подростки говорят, что готовы оплатить, но только в крайнем случае, когда родители по каким-то причинам не могут этого сделать. В целом тратить свои карманные деньги на уроки они не хотят.

Заказчик уже был готов планировать коммуникацию с подростками так, чтобы мотивировать их тратить карманные деньги на обучение. Но данные исследования напрочь разнесли эту идею. И хорошо — не успели потратить деньги и силы.

Ошибка №2. Исследовать все и сразу

Когда мы запускаем исследование, всегда важно обсудить с коллегами, что мы хотим узнать помимо основной цели: какие вопросы раскрыть глубже, на чем сделать акцент, что добавить.

Но нужно помнить о том, что у каждого исследования должен быть фокус. Когда планируете вопросы для интервью или анкеты, оставьте пользователю свободу для мыслей и ассоциаций, но оставайтесь в рамках одной темы.

Дайте возможность пользователю показать действительно полный и детализированный обзор одной картины, а не просите от него поверхностную экскурсию по всей галерее.

Например, когда я работала в команде реферальной программы и общалась с пользователями о том, почему в регионах хуже рекомендуют продукт друзьям и знакомым, было бы глупо спрашивать респондентов о разговорных клубах, наших интерфейсах и о других отвлеченных темах.

Ошибка №3. Вносить изменения в середине исследования

Правки можно и нужно вносить, но только на этапе проверки гайда — списка вопросов или тем, которые нужно раскрыть во время интервью.

Перед полевым этапом сбора данных с респондентов проведите два-три пробных интервью, чтобы понять, помогают ли вопросы, которые вы составили, раскрыть проблему. И существует ли проблема вообще.

Но когда программа исследования утверждена и собрана часть данных, добавлять новые вопросы и темы не стоит. Если внести изменения, путь интервьюируемого изменится. Вы получите другие инсайты и упустите опыт тех пользователей, в чьи интервью не вошли новые вопросы.

Ошибка №4. Распространять результаты исследования на всех жителей Земли

В качественных исследованиях мы выявляем только феномены. Они нужны для глубокого понимания поведения пользователя, его отношения к продукту. Для такого исследования мы обычно проводим 10–30 интервью, и на их основе никак нельзя получить статистические данные. Если вы получили инсайт о том, что родители не проверяют личный кабинет подростка, это еще не значит, что все родители придерживаются такого поведения.

Любое качественное исследование лучше проверять количественным, и наоборот. Хотя и количественные данные тоже не показывают поведение всего населения земли, страны и города. Количественные исследования позволяют понять мнение выборочной совокупности, представляющей генеральную. Важно учесть все значимые параметры аудитории, которую вы хотите изучить, и только в этом случае (обычно с погрешностью около 5%) вы получите данные, которые можно распространить на исследуемую группу лиц.

Случай из практики:

В наших исследованиях про индивидуальные уроки в Skyeng все ученики твердят, как они любят и ценят домашки. Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе.

И вот мы решили распространить этот инсайт и на другой продукт — разговорные клубы. Туда же тоже ходят наши ученики. Мы потратили на внедрение домашек в клубы много времени и сил. А в итоге оказалось, что для учеников разговорные клубы — это возможность потренировать язык в расслабленной обстановке дружеской беседы, и домашки там совсем не нужны.

Желаю удачи в исследованиях! Они помогают выяснять ценные вещи и экономить ресурсы.

Например, недавно мы хотели разработать приложение для подростков. Они ведь все время проводят в телефонах! А когда пообщались с реальными подростками, они нам сказали — у нас мало памяти в телефонах, так что приложения мы скачиваем только самые-самые нужные. А заниматься предпочитаем с браузера в телефоне. Так мы сэкономили силы и деньги.

Буду рада, если в комментариях поделитесь своим опытом о том, как не допускать ошибки в исследованиях.

Также читайте мой предыдущий материал о, том как вытаскивать информацию из пользователей, даже если ты не профессиональный исследователь.

{ "author_name": "Skyeng", "author_type": "editor", "tags": [], "comments": 8, "likes": 21, "favorites": 72, "is_advertisement": false, "subsite_label": "design", "id": 259246, "is_wide": true, "is_ugc": false, "date": "Fri, 18 Jun 2021 10:40:35 +0300", "is_special": false }
0
8 комментариев
Популярные
По порядку
Написать комментарий...
2

Спасибо, Ника! отличная статья!

Круто, что есть случаи из практики — очень применимо :) 

Ответить
1

Спасибо, Дима!

Ответить
1

Всё по делу, это действительно очень распространенные ошибки, которые я тоже встречал, участвуя в разных проектах. Приходилось объяснять по пунктам. Только увы, не все исследования удается от таких ошибок спасти объяснениями 

Ответить
0

Возникли вопросы:
В "первой ошибке" - какую именно гипотезу вы пытались подтвердить, в чем это выражалось и как в итоге исправили (в контексте примера)?

Во второй можно сказать и примера нет, "было бы глупо" это ваша гипотеза, а не пример

В третьей все хорошо, а пример? :)

В четвертой можно подумать что речь идет о трансляции мнения исследуемой группы на всех остальных, а судя по примеру это применение результатов исследования для одного продукта на другой, так о чем речь?

Ответить
1

Иван, спасибо интерес к статье! 

1. Мы не пытались подтвердить, мы проверяли (в "подтверждении" и состоит ошибка). Гипотеза была в том, что мотивированные подростки зачастую сами занимаются подбором курсов для себя, а иногда даже оплачивают их. Мы хотели проверить, действительно ли школьники готовы платить за свое обучение личными деньгами.
Но на интервью ребята рассказали нам, что их личные деньги — это их ЛИЧНЫЕ деньги, а обучение должны оплачивать все же родители.
Так наша гипотеза не подтвердилась, но заказчику очень хотелось обратного, и он нашел в цитатах «крючки», за которые ухватился.
После того, как я поняла, что заказчик исследования неверно интерпретирует данные, мы вместе пересмотрели транскрипты интервью, убедились, что тратиться на обучения подростки не готовы, и закрыли вопрос.

2. Это не гипотеза, а экспертное мнение. И опыт, и любой учебник скажут вам, что нужно держаться линии, иначе можно получить множество поверхностных знаний, но не получить глубокие ответы на исследовательские вопросы. Когда интервьюируемый начинает прыгать с темы на тему, он отвлекается, не удается вспомнить детали и эмоции, что важно для качественного глубинного интервью.

3. К счастью, в моей практике не случалось такого, что этой ошибке удавалось проникнуть глубоко, я всегда пресекаю это, поэтому и полноценного примера не получается.
Но, кажется, что это знакомо многим исследователям, которые работают в большой команде: параллельно идет несколько проектов, и коллеги приносят свои вопросы в твое исследование, которое посвящено другой теме, что называется «заодно спроси и это». Или когда заказчик вспомнил, что скоро будет запуск нового продукта, и просит включить «парочку вопросов» в текущее исследование, когда оно в самом разгаре.

4. Это с какой стороны посмотреть :)
Да, пример с другим продуктом, но и с другой аудиторией: пользователи уроков f2f и разговорных клубов.
Основная мысль в том, чтобы сфокусироваться на одном. Каждому продукту и каждой аудитории нужно свое полноценное исследование, которое позволит получить максимум полезной информации.

Надеюсь, ответила на ваши вопросы :)

Ответить
1

Спасибо! Собственно все это подразумевалось и так, но в виде развернутых ответов стало гораздо более убедительным :) 
Продуктивной вам работы и адекватных клиентов )))

Ответить
1

Большое спасибо, Иван!
И вам успехов ❤️

Ответить
0

_Данные аналитики тоже подтверждали это мнение: успешное выполнение домашек — это залог длительного обучения в школе._
Причину и следствие перепутали.

Ответить
Читать все 8 комментариев
Роскомнадзор разблокировал Genius после удаления «Панельки» Хаски, «Номеров» ЛСП и других запрещённых в России песен Статьи редакции

Спустя 11 дней после закрытия доступа к ресурсу.

Как я размещался на маркетплейсах для программистов и что из этого вышло

Меня зовут Виталий, я программист и предприниматель. Или предприниматель и программист. Делюсь историей о том, как я пытался выйти на международный рынок с небольшим IT-продуктом через маркетплейсы, и что из этого получилось.

Очень страшный август

Дмитрий Космодемьянский, управляющий активами УК "Открытие"

Кейс Xsolla — грустная история про то, как цифры стали важнее людей

В сети спорят, можно ли уволить 150 сотрудников из-за недостаточной активности в рабочих программах. HR-директор Тина Макарова и директор по коммуникациям digital-агентства Go Mobile Екатерина Гладкова прокомментировали ситуацию и рассказали, как измерять показатели продуктивности и вовлечённости и что делать, если они низкие. Гоуллеги дополняют.

Apple начнёт локально проверять фото на iPhone на предмет жестокого обращения с детьми — FT Статьи редакции

Сперва функцию внедрят в США, утверждают источники.

Эксперимент: выбрать квартиру в другом городе с помощью 3D-тура

«Ирония судьбы» научила нас: все новые дома похожи друг на друга — а значит, имея представление о новостройках в одном городе, можно сделать вывод и о домах в другом. Для этого теперь даже не нужен билет на поезд или самолёт: прогуляться по квартирам в новостройках можно с 3D-туром на сайте «Циан».

Трудоголизм: причины
Карта «120 дней»: почему это выгодно

Еще каких-то 5-7 лет назад большинство россиян использовали дебетовые карты, чтобы снять с них наличность в день получения аванса и зарплаты, а кредитными старались не пользоваться вовсе.

Отдам читателям vc.ru бесплатно SaaS- и другие сервисы с исходниками

Друзья, привет! В своё время покупал для личного использования разные сервисы. Теперь решил раздать, может, кому-нибудь будут полезны.

Авторы «Южного парка» заключили одну из крупнейших сделок в истории ТВ и получат $900 млн за 14 фильмов и шесть сезонов Статьи редакции

Трей Паркер и Мэтт Стоун также получили 50% прав на показ мультсериала в онлайн-сервисах, их доля — больше $1 млрд.

Как «Яндекс-Маркет» надувает с баллами за покупки

Заказ № 52746907 был получен и оплачен 09.07.2021. После чего, 10.07.2021 Яндекс-Маркет отменяет заказ и списывает начисленные за него баллы (включая приветственные 500).

null