Как анализировать качественные данные в UX-исследовании: тематический анализ

Перевод статьи исследовательницы Марии Росала для Nielsen Norman Group.

Обнаруживать темы в данных качественных исследований порой достаточно сложно. В количественном исследовании подвести итоги можно прозрачно: вы справились на 25% лучше, чем ваши конкуренты, скажем так. Но как оформлять выводы из анализа качественных данных?

На ранних стадиях проекта зачастую проводится эксплораторное исследование. Оно приносит много качественных данных, которые могут включать в себя:

Качественные данные об отношении (Qualitative attitudinal data): мысли людей, представления и осознаваемые ими потребности, полученные из интервью с пользователями, фокус-групп и даже дневниковых исследований.

Качественные данные о поведении (Qualitative behavioral data): наблюдения за поведением людей, собранные при изучении контекста и с помощью других этнографических подходов.

Тематический анализ выносит на обозрение важные свойства качественных данных и делает определение ключевых тем более простым процессом.

Определение. Тематический анализ — систематический метод разделения и организации насыщенных данных из качественного исследования, который подразумевает наделение отдельных наблюдений и цитат определенными кодами, это облегчает поиск важных тем.

Как и предполагается названием, тематический анализ включает в себя поиск тем.

Определение. Тема — описание представления, практики, потребности и других феноменов, которые обнаруживаются в данных. Она появляется, когда относящие к ней находки повторяются несколько раз среди ответов участников или в анализируемых источниках.

Многие исследователи чувствуют себя растерянными из-за качественных данных, полученных в ходе эксплораторного исследования на ранней стадии проекта. В таблице внизу выделены некоторые общие проблемы и возникающие противоречия.

Без определенной систематизации процесса и возникают описанные выше проблемы. Тематический анализ помогает исследователям оставаться организованными и сфокусированными и дает им общий план, которого нужно придерживаться.

Тематический анализ может проводиться разными способами. Выбор лучшего инструмента или метода для этого процесса
зависит от:

• Данных.
• Контекста и ограничений фазы перехода от данных к анализу.
• Персонального стиля работы исследователя.

Три общих метода включают в себя:

• Использование специальных программ.
• Ведение заметок (journaling).
• Использование техник диаграмм сходства (affinity diagramming techniques).

Для анализа большого объема качественных данных исследователи зачастую используют программы CAQDAS (Computer-Aided Qualitative-Data–Analysis software). Исследователи загружают туда транскрипты и полевые заметки и затем систематически анализируют текст через процедуру кодирования.

Программа помогает обнаружить темы с помощью различных инструментов визуализации, таких как деревья слов (word trees) или облака слов (word clouds) — это позволяет организовать закодированные данные различными способами.

Преимущества:

• Анализ происходит достаточно тщательно.
• Файл с сырыми данными и проведенным анализом можно предоставить другим на перекрестный анализ (этот метод пользуется популярностью среди студенческих проектов в академических учреждениях).

Недостатки:

• Процесс занимает много времени, поскольку появляется большое количество кода, которое нужно сократить в небольшой список.
• Дорого.
• Сложно проводить анализ одновременно с другими людьми.
• Предполагается обучение, как пользоваться программой.
• Процесс может казаться ограничивающим для исследователя.

Написание заметок в ходе проведения исследования и во время возникновения идей при чтении текста довольно распространено среди исследователей, которые используют методологию обоснованной теории.

Ведение заметок — форма тематического анализа, которая основана на данной методологии, она подразумевает аннотацию и выделение данных вручную, исследователь пишет возникающие идеи прямо по ходу процесса.

Эти заметки называются «мемос» (memos) — однако не стоит путать с офисными объявлениями (office memos), которые пишутся для сотрудников.

Преимущества:

• Процесс провоцирует рефлексию за счет того, что пишутся детальные заметки.
• У исследователей остается зафиксированный путь, как они пришли к той или иной «теме».
• Анализ недорогой и его процесс гибкий.

Недостатки:

• Сложно делать в коллективе.

Данные выделяются, разделяются физически или виртуально и пересобираются в значимые группы. Этот процесс идет до тех пор, пока не возникают темы на физической или виртуальной «доске». (смотрите видео, в котором отражен процесс создания диаграмм сходства)

Преимущества:

• Можно делать в коллективе.
• Быстрое создание тем.
• Недорогой и гибкий процесс.
• Процесс визуализирован и обеспечивает итеративность.

Недостатки:

• Не такой тщательный процесс, поскольку зачастую отрывки текста не кодируются несколько раз.
• Сложно проводить, когда данные достаточно разрозненные или когда данных много.

Все методы тематического анализа подразумевают определенный объем кодирования (не путать с написанием кода или языка программирования).

Определение. Код — слово или фраза, которые служат названием для отрывка текста

Код описывает, о чем текст, и служит сокращением для более сложной мысли. (Хорошая аналогия: код описывает данные как ключевое слово описывает статью, как хештег описывает твит).

Зачастую исследователи-качественники не только дают название для каждого кода, но и расшифровывают, что каждый код значит, приводят в пример отрывки текста, которые подходят или не подходят под данный код.

Эти описания и примеры особенно полезны, когда более чем один человек отвечает за кодирование данных или когда кодирование предполагает большое количество времени.

Определение. Кодирование относится к процессу наименования (labeling) отрывков текста с помощью соответствующих кодов.

Когда коды присвоены, достаточно просто определить и сравнить отрывки текста, которые посвящены одному и тому же явлению. Коды позволяют удобно сортировать информацию и анализировать данные таким образом, чтобы обнаруживать сходства, различия и определять отношения между сегментами. Так можно прийти к пониманию значимых тем.

Коды могут быть

• Описательными: описывают, о чем данные.
• Интерпретативными: подразумевают аналитическое чтение данных с добавлением интерпретации исследователя.

Чтобы разобраться в разнице между описательными и интерпретативными кодами, рассмотрим цитату из интервью, которое я провела, будучи практикующим UX-исследователем ранее в этом году (оно опубликовано как часть нашего отчета по исследованию «Карьеры в UX»)

Возможные описательные и интерпретативные коды для текста выше:

Описательный код: как приобретаются навыки.

Смысл, стоящий за названием кода: участников просили описать, как они приобрели определенные навыки.

Интерпретативный код: саморефлексия.

Смысл, стоящий за названием кода: участница описывает, как опыт на обучении изменил ее представление о проведении встреч, как она рефлексировала относительно своего страха.

Вне зависимости от того, какой инструмент вы используете (программы CAQDAS, заметки или техники диаграмм сходства), процесс проведения тематического анализа может быть разделен на шесть этапов.

Начните с сырых данных, таких как транскрипты интервью или фокус-групп, с полевых заметок или записей дневникового исследования. Я рекомендую транскрибировать аудиозаписи интервью и использовать транскрипт для анализа вместо того, чтобы полагаться на обрывочную память.

Ознакомьтесь с данными перед тем, как начинать анализ, даже если вы проводили исследование в одиночку. Прочитайте все свои транскрипты, полевые заметки и остальные источники перед тем, как анализировать их.

На этом этапе вы можете подключить свою команду к проекту. Привлечение команды обеспечивает осведомленность о пользователях, обеспечивает эмпатию к ним и их потребностям.

Проведите воркшоп (или серию воркшопов, если у вас большая команда или собран большой объем данных). Следуйте этапам:

• Перед тем как члены вашей команды начнут как-либо взаимодействовать с данными, выпишите исследовательские вопросы на доску или бумагу флипчарта, чтобы можно было наглядно обращаться к вопросам во время работы.
• Дайте каждому члену команды или транскрипт, или запись полевых, или дневниковых заметок. Скажите участникам выделить все, что кажется им значимым.
• Когда члены команды закончат читать текст, они могут передать транскрипт или записи кому-то другому, а также получить новый от другого члена команды. Этот этап должен повторяться до тех пор, пока члены команды не ознакомятся со всеми данными.
• Обсудите всей группой, что вы заметили и что вас удивило.

Лучшим раскладом будет тот, в котором ваша команда участвует во всех исследовательских встречах. Но это может быть невозможно, если необходимо провести много сессий или если у вас большая команда.

Когда отдельные члены команды посещают лишь несколько сессий, они могут уходить с нечетким пониманием находок друг друга. Воркшоп поможет решить эту проблему — каждый прочитает все транскрипты.

На этапе кодирования выделенные отрывки необходимо категоризировать таким образом, чтобы их можно было легко сопоставить между собой.

На данном этапе напомните себе о своих исследовательских целях. Напечатайте свои исследовательские вопросы. Прикрепите их на стену или на доску в комнате, где проводите анализ.

Если у вас достаточно времени, можете привлечь свою команду на этапе кодирования. Если время ограничено и необходимо обработать большой массив данных, проведите этот этап самостоятельно и пригласите команду в конце, чтобы сделать ревью ваших кодов и помочь определить найденные темы.

Во время того, как вы кодируете, проверяйте каждый отрывок текста и задавайте вопрос «О чем он?». Давайте фрагменту название, которое описывает данные в нем (описательный код). Вы также можете добавить интерпретативные коды к тексту на данном этапе, но все же проще будет сделать это позднее.

Коды могут создаваться как перед тем, так и после того, как вы сгруппировали данные. Следующие два раздела этого этапа описывают, как и когда вы можете добавлять коды.

В традиционном подходе — когда вы выделяете отрывки данных, такие как предложения, абзацы, фразы — вы кодируете их. Полезно записывать все использованные коды и определять, что они означают, чтобы иметь возможность возвращаться к этому списку при кодировании последующих отрывков текста (в особенности это актуально, когда кодирование проводят несколько людей).

Этот подход помогает избежать создание нескольких кодов с одинаковым типом информации в ней, чтобы не нужно было их впоследствии объединять.

Когда весь текст закодирован, вы можете сгруппировать данные, которые наделили одинаковым кодом.

Если вы используете в данном процессе CAQDAS, программа автоматически записывает коды, которые вы присваиваете в процессе, чтобы их можно было использовать повторно. Также она дает возможность отобразить весь текст, закодированный одним и тем же кодом.

Вместо того чтобы придумывать код в моменте, когда вы выделили текст, вы разделяете (физически или виртуально) и кластеризуете все сегменты, которые выделены похожим образом (примерно как разные стикеры могут быть сгруппированы в диаграмму сходства).

Группам затем дается код. Если вы делаете кластеризацию виртуальным способом, вы можете поместить закодированные отрывки в отдельный документ или в какую-либо программу визуализации.

На картинке ниже группировка происходит вручную. Транскрипты были разрезаны, прикреплены к стикерам и перемещались по доске до тех пор, пока они не стали выглядеть естественно в группах. Затем исследователь присвоил каждой группе описательный код, написанный на розовом стикере.

В конце этого этапа ваши данные должны быть сгруппированы по темам и по кодам для каждой темы.

Давайте рассмотрим пример. Я провела интервью с тремя людьми об их опыте готовки еды дома. В этих интервью участники говорили, как они готовят одни блюда, а другие избегают. Они говорили о специфических трудностях, с которыми они сталкивались во время готовки (ограничения из-за диеты, ограниченный бюджет, отсутствие времени или недостаточное количество места) и о способах разрешения этих сложностей.

После группировки выделенных отрывков из интервью по темам у меня получились три широких описательных кода и соответствующие группировки:

• Практики готовки: незабываемый позитивный или негативный опыт, относящийся к готовке.
• Боли: все, что отвлекает от готовки или затрудняет ее (включая соблюдение диеты, ограниченный бюджет и так далее).
• Способы, которые помогают справиться с болями: что помогает (или во что респонденты верят как в помощь) преодолеть специфические сложности или боли.

Просмотрите все коды и найдите любые причинно-следственные отношения, сходства, различия или противоречия, чтобы обнаружить глубинные темы.

Во время этого процесса некоторые коды отсеются (будут либо заархивированы, либо удалены) и будут созданы новые интерпретативные коды. Если вы используете кодирование вручную, как описано в шаге три, то некоторые из изначальных группировок могут исчезнуть или расшириться, когда вы начнете искать темы.

Задавайте себе следующие вопросы:

• Что происходит в каждой группе?
• Как коды соотносятся друг с другом?
• Как это соотносится с моими исследовательскими вопросами?

Возвращаясь к нашей теме готовки, при анализе текста внутри каждой группировки и при поиске взаимоотношений между данными я заметила следующее: два участника сказали, что им нравятся ингредиенты, которые можно использовать в готовке разными способами и которые хорошо сочетаются с другими ингредиентами.

Третья участница говорила о том, что она мечтает иметь список ингредиентов, которые можно использовать в готовке разных блюд на протяжении недели, это будет гораздо лучше расклада, в котором нужно покупать отдельные ингредиенты для каждого приема пищи.

Итак, появилась новая тема гибкости ингредиентов. К появившейся теме я подобрала код «один ингредиент подходит ко всему», ему я дала детальное описание.

Почти всегда будет отличной идеей взять перерыв и вернуться позднее — чтобы изучить данные свежим взглядом. Такой подход позволяет четко выделить значимые паттерны в данных и выявить действительно сильные инсайты.

В данном этапе может быть полезно использовать помощь других вовлеченных в процесс людей: попросите их оценить ваши коды и возникнувшие темы. В результате могут быть пересмотрены появившиеся инсайты и подвергнуты критике ваши выводы — ведь это будет незамыленный взгляд. Эта практика позволяет уменьшить риск личной предвзятости.

Подвергните найденные темы сомнению. Задавайте себе следующие вопросы:

• Эта тема хорошо подкреплена данными? Или вы можете найти данные, которые не будут поддерживать тему?
• Тема достаточно насыщена примерами?
• Другие согласятся с найденными вами темами при условии, что они проведут анализ отдельно и независимо?

Если ответ на данные вопросы «нет», это может означать, что вам нужно вернуться к доске, где вы проводили анализ. Даже если предположить, что вы собрали надежные данные, всегда есть возможность узнать что-то новое, поэтому лучше провести больше времени со своей командой, повторяя шаги четыре-шесть.

Используйте тематический анализ как полезную инструкцию для того, чтобы эффективно прорабатывать большие объемы качественных данных. Нет единственно верного способа, как проводить тематический анализ, поэтому выбирайте методы анализа, которые подходят типу и объему собранных вами данных.

Когда это возможно, приглашайте других присоединиться к процессу анализа — этот подход одновременно повысит точность анализа и поможет вашей команде получить новые знания о поведении пользователей, их мотивациях и потребностях.

Анализ может быть длительным процессом, поэтому придерживайтесь хорошего эмпирического правила — выделяйте столько времени, сколько потребовалось на сбор данных, чтобы провести их анализ.

Занимаюсь качественными исследованиями уже три года, специалист по Customer Development в ИТ-сфере. По любым вопросам и предложениям обращайтесь:

#пользовательскийопыт