Речевая аналитика: как посмотреть на результаты исследований по-новому?
Для проведения качественного исследования очень важно внимательно анализировать факты в ответах респондентов, не упустив деталей, и убедиться, что социально-демографические параметры выборки соответствуют целям и задачам исследования.
Современные технологии позволяют «копнуть» глубже и проанализировать, что респонденты чувствуют, определить уровень их уверенности в ответах и сделать предположения о том, насколько участники вовлечены в тему опроса. Это позволяет обогатить выводы или при необходимости исключить респондентов из выборки.
СберУниверситет и команда сервиса Speech Up Analytics поставили эксперимент: проанализировали эмоции и состояние респондентов одного из своих исследований с помощью речевой аналитики.
Что такое речевая аналитика?
Речевая аналитика — это метод, который позволяет извлекать из текстовых данных информацию о настроениях, эмоциях, стилях общения и даже когнитивных искажениях. С помощью специальных программ мы можем автоматически анализировать огромные объемы текстовых данных и выявлять скрытые паттерны.
Какие метрики могут замеряться с помощью речевой аналитики?
- Эмоциональная окраска: определяет, насколько эмоционально насыщен текст и какие эмоции преобладают (радость, агрессивность).
- Уровень определенности: оценивает, насколько уверенно человек выражает свои мысли. Низкий уровень уверенности может свидетельствовать о сомнениях или неполной информации.
- Когнитивные искажения: выявляет логические ошибки и предрассудки, которые могут искажать восприятие информации.
Как мы использовали инструменты речевой аналитики?
СберУниверситет провел исследование, включающее преимущественно вопросы открытого типа. Массив данных состоял из более чем 3500 ответов и позволял полноценно протестировать потенциал речевой аналитики.
Ниже делимся итогами эксперимента.
Какие эмоции испытывали респонденты?
Чрезмерные эмоции могут негативно повлиять на валидность результатов, так как респондент может быть не готов конструктивно отвечать на вопросы. Его ответы могут не отражать рациональные мысли, которые он бы раскрыл, находясь в менее эмоциональном состоянии. Для этого в рамках анализа мы оценивали степень положительных эмоций (радости) и уровень агрессивности в ответах респондента.
Уровень радости мы измеряли с помощью формулы:
Словами, означающими радость, могут быть[1]:
Синонимы слова «радость» и его производные («порадовала семья и весна»).
Слова, выражающие положительные эмоции или состояния («Сейчас посмотрел на небо из окна — это так прекрасно»).
Слова, связанные с позитивными событиями или результатами (например, «успех коллег», «положительные отклики»).
Проявление радости в ответах наших респондентов было низким, от 1% до 10%, в зависимости от вопроса. Таким образом, нашей аудитории не свойственны эмоциональные вспышки. На вопросы участники отвечали нейтрально и сдержанно.
При анализе также важно учитывать контекст вопроса:
Должен ли он вызывать у респондента положительные эмоции?
Реагирует ли респондент «правильными эмоциями» на этот вопрос?
Как и ожидалось, в вопросе, направленном на выявление положительных эмоций («Вспомните ситуацию за последнее время, которая Вас порадовала. Расскажите об этом случае. Что можно сделать, чтобы такие события случались чаще?»), доля слов, выражающих радость, была выше, чем в других вопросах.
Например, если сравнивать ответы на вопрос о трудностях на работе (где коэффициент радости составил 3,8%) и на вопрос о положительных ситуациях (где коэффициент радости был 9%), –разница очевидна.
Однако 9% выглядят довольно «бледным» результатом, учитывая эмоциональную окрашенность вопроса. При этом он был последним в списке, и, скорее всего, респонденты уже устали отвечать. Подобное необходимо учитывать при обработке результатов. Также это является хорошим показателем, который может говорить о допущенных шероховатостях на этапе дизайна исследования.
Теперь посмотрим на проявление агрессивности в ответах респондентов.
Агрессивность можно измерить по количеству слов, связанных с агрессией, или косвенно, через коэффициент агрессивности.
Нормой этого показателя считается значение не более 60%. Завышенный коэффициент агрессивности указывает на наличие эмоционального беспокойства. Высокие значения коэффициента агрессивности могут говорить о структурных проблемах в выбранной сфере.
В рамках исследования доля респондентов с коэффициентом агрессивности выше нормы не превышала 1-3% ни в одном вопросе. Это небольшое количество участников, на которых можно более пристально посмотреть в ручном режиме: что содержится в тезисах, следует ли учитывать эти ответы при интерпретации результатов исследования или лучше исключить их из анализа.
Насколько респонденты были уверены в своих ответах?
Чтобы получить ответ на этот вопрос, использовался коэффициент определенности действия. Он отражает степень социализированности респондента, синтаксической завершенности его высказывания (в нашем случае — ответа).
Чем ближе значение коэффициента к 1, тем более четко и уверенно выражена мысль.
Низкие значения коэффициента (<0,3) могут свидетельствовать о том, что:
Респондент отвечал под влиянием сильных эмоций и не успел обдумать свой ответ.
Респондент не полностью понимает вопрос или не имеет достаточной информации для ответа.
Такие ответы следует анализировать более внимательно. В некоторых случаях их может быть целесообразно исключить из анализа, чтобы повысить качество данных.
В рамках исследования значимая доля респондентов имела коэффициент определенности действия <0,3.
Например, сравним ответы на один из вопросов исследования: «Что вы делаете, чтобы адаптироваться к изменениям в вашей сфере?»
Таким образом, в исследовании можно выделять тех, кто уверен в своих ответах, и тех, кто сомневается и скорее полагается на принятое в профессиональной сфере мнение. И следует уже отдельно принимать решение, как именно учитывать процент «неуверенных» или «не настроенных к беседе» респондентов в результатах исследования.
Алексей Суханов, заместитель генерального директора, руководитель Блока исследований СберУниверситета:
«Мы сейчас пробуем разные возможности алгоритмов, которые могут быть встроены в наши исследования. Анализ свода ответов с помощью речевой аналитики – еще один способ посмотреть на исследование и отметить новое. Мы с интересом ознакомились с анализом, который провела команда Speech Up Analytics, и будем в дальнейшем думать над использованием подобной аналитики. Чем больше подобных экспериментов, тем больше будет возможностей повысить качество того, что мы делаем».
Олег Басов, основатель сервиса Speech Up Analytics:
«Речевая аналитика – незаменимый инструмент при работе с большими объемами данных. Умение считывать эмоциональное состояние респондентов позволяет делать выборку исследования более релевантной и исключать ответы с сильными эмоциональными и когнитивными искажениями.
На примере одного большого исследования наша команда показала, что можно найти минимум три способа посмотреть на данные по-новому. Это те самые точки роста и развития, которые позволяют находить новые решения проблем».
[1] Примеры взяты из проведенного исследования СберУниверситета