ПСИХОМЕТРИЧЕСКИЕ ХАРАКТЕРИСТИКИ КИТАЙСКОГО КЛИЕНТА: ТЕСТИРОВАНИЕ ПРОГРАММЫ SYMANTO

В этом лонгриде представлены результаты тестирования программы Symanto с функцией психометрического анализа, которая может быть применена с целью исследования клиентской аудитории. Представлены все основные этапы работы с программой, полученные в процессе работы результаты, а также их анализ и сравнение с человеческим контент-анализом.

Наиболее удобный и быстрый способ исследований аудитории – это исследования онлайн, без специальных опросов, на основе имеющихся данных пользователей в социальных сетях. Для целей маркетинговых и клиентских исследований большое значение имеет возможность автоматизированного анализа текста, в частности, психометрического анализа текста.

Мы проанализировали 56 программ анализа текста, доступных на международном рынке сегодня, и 34 программы анализа социальных сетей. Хотя многие из них заявляют отдельные функции психометрического анализа, чаще всего это ограничено анализом тональности по отношению к бренду. Полноценных программ психометрического анализа клиента / клиентского текста нам удалось выявить только 7:

В этом обзоре мы продемонстрируем результаты тестирования программы Symanto Insights Platform. Мы никаким образом не продвигаем эту программу и не имеем с этой компанией деловых отношений. Мы представляем подробный обзор тестирования одной программы по той причине, что таких комплексных программ на международном рынке всего 7.

Эти программы представляют значительное достижение автоматизированного анализа аудитории на сегодняшний день, включая психометрический анализ. Каждая из них обладает обширным функционалом, именно поэтому необходимо представить их по отдельности. Мы надеемся представить обзоры по каждой из этих программ отдельно.

Symanto Insights Platform – это платформа автоматизированного анализа текста, которая предлагает расширенную текстовую аналитику для глубокого понимания потребителей и сотрудников бренда. Инструмент предназначен для анализа комментариев, форумов и отзывов клиентов о бренде или продукте. Symanto упорядочивает данные по темам, подтемам, настроениям и психографике и преобразует их в наглядные графики и диаграммы.

Платформа объединяет данные, основанные на психологии, с данными, генерируемыми искусственным интеллектом. Именно этот тандем позволяет автоматически выделять важные психометрические характеристики клиента, знание которых поможет принимать обоснованные решения для своего бренда.

Разработчики платформы заявляют такие функции как:

Платформа Symanto Insights может быть использована в различных подходах к анализу потребителей, что даст более четкое представление о бренде с точки зрения клиентов.

В рамках данной статьи рассмотрим, что из себя представляет symanto insights platform на практике и насколько она полезна в определении психометрических характеристик клиента. Для тестирования возьмем отзыв китайского клиента на программу российского производства компас-3D – систему трехмерного проектирования, которая активно используется в отраслях промышленности среди профессиональных пользователей для проектирования изделий основного и вспомогательных производств (в машиностроении, в авиастроении, в судостроении и т. д.). Эта САПР популярна и на китайских предприятиях. Один из китайских пользователей — Jianhongwei810 написал о собственном опыте использования программы для 3D-моделирования. Данный отзыв и будем использовать в качестве данных для тестирования.

Текст отзыва на китайском языке:

Регистрируем учетную запись на сайте Symanto, подтверждаем e-mail и входим в личный кабинет. На начальной странице видим заранее представленные для тестирования массивы данных, количество единиц текста, доступных для хранения и анализа, и ячейку под будущие аналитические проекты. Чтобы создать новый проект, нужно добавить в хранилище необходимые данные, для чего далее переходим в Data Hub.

Data Hub – это хранилище данных для анализа. Сюда мы всегда можем зайти, чтобы увидеть превью текстовых данных, сюда же загружаются новые данные. Для загрузки нажимаем Add Data.

На вкладке загрузки данных видим два способа: загрузить собственную базу данных или собрать онлайн-отзывы напрямую с какой-либо платформы. Поскольку текст у нас сохранен заранее, выбираем опцию загрузки файла.

Далее видим требования к файлу: он должен быть представлен в. xlsx или. csv форматах, в первой строке должны быть имена столбцов, а в одной ячейке не должно быть более 2000 символов, в противном случае текст будет обрезан.

Идем в Excel и загружаем туда отзыв на китайском, предварительно подготовив столбцы: указываем имя клиента, дату написания отзыва, название программного продукта, сам текста и язык текста. Такое структурирование – залог адекватного анализа текста, потому что на практике мы загружаем не один отзыв, а сразу несколько от разных пользователей, о разных продуктах, написанных в разное время. Увидим далее, что это окажется полезным.

Выбираем название столбца, содержащего текст для анализа.

Далее выбираем столбец, содержащий дату написания отзыва, указываем формат даты.

Указываем столбец, в котором содержится информация о языке текста. Обратим внимание, что наименование языка должно быть представлено в виде двухзначного буквенного кода согласно стандарту ISO 639-1.

Наконец, указываем, что в файле нет столбца с информацией о рейтинге продукта. Если бы отзыв был взят с сайта отзывов, информация об оценке того или другого продукта была бы нам полезна, но в нашем случае китайский пользователь не предоставил свою оценку.

Наконец, после указания всей информации видим превью нашей базы данных – при прокрутке вправо также видна вся информация, которую мы записали в Excel.

В Data Hub нажимаем на Analyse. Выбираем данные для анализа из нашего хранилища.

Выбираем название проекта и язык текста. Вспоминаем, что наш текст представлен на китайском языке, а значит, его нужно перевести на один из поддерживаемых языков для дальнейшего анализа. Программа сделает это автоматически – выбираем английский язык и устанавливаем флажок на опции Translate all my data into the selected language.

Подтверждаем настройки и создаем проект для анализа.

Спустя минуту загрузка и обработка данных завершена, и мы можем приступать к нашему проекту. Но не все так быстро – для начала нужно выбрать модули, по которым программа будет проводить дальнейший анализ. Это как раз те модули, о которых было заявлено в функциях платформы:

В исходном виде они все выключены, добавляем для анализа все перечисленные модули.

При добавлении первого модуля нам предлагают выбрать отрасль, к которой относится анализируемый бренд или продукт. Именно от этого выбора будет зависеть дальнейший процесс выявления тем и подтем в тексте. На выбор предлагаются несколько отраслей: банковская, автодилерская, потребительской электроники, электронной коммерции, гостиничная, фармацевтическая, ресторанная, отрасль розничной торговли, доменная индустрия. Можно также выбрать модуль, связанный с удовлетворенностью сотрудников компании. Словарь на базе отрасли потребительской электроники включает в себя такие категории как характеристики продукта, особенности, процесс доставки, опыт розничной торговли и в большей мере подходит для нашего кейса.

Здесь же можно вновь увидеть превью анализируемых данных – уже в обработанном виде на английском языке. Такой просмотр поможет перепроверить, тот ли массив данных отправлен на проверку, и будет полезным для определения отрасли, к которой относится конкретно этот массив данных.

Весь текст отзыва на английском языке выглядит следующим образом:

Достаточно точный перевод без внушительных смысловых и морфологических ошибок.

Приступим к анализу данных.

Указано, что для анализа был использован массив из одной единицы данных, одного текста. Здесь можно представить данные группировано и структурировать их по наименованию продукта, автору поста и другим характеристикам, которые мы заранее указываем при загрузке таблицы в программу. При загрузке большего массива данных с отзывами от разных людей и (или) о разных продуктах/брендах создается точечная диаграмма, позволяющая сравнить количество отзывов по каждому из пунктов.

«Классификация» дает обзор всех обнаруженных категорий, основных тем, количества единиц текста, содержащих данные категории и темы, а также соответствующее настроение в процентном выражении. Кроме того, можем увидеть количество текстов с темами положительного настроения, нейтрального и отрицательного.

Настроение (Net Sentiment) рассчитывается по следующей формуле: Чистое настроение = [(количество положительных терминов — количество отрицательных терминов) /общее количество терминов] *100

Так, видим 6 категорий, относящихся к выбранной отрасли, при этом всего в тексте было выявлено 23 темы. Общее чистое настроение текста – положительное на 43%. Категория с наибольшей величиной показателя чистого настроения – Service, с наименьшей величиной – Software (положительные и отрицательные темы поровну) и Product Components (нейтральные темы).

Выявленные темы в разбивке по категориям и с указанием чистого настроения представлены на рисунке ниже.

Можно настроить категоризацию и вручную добавить в категории и темы термины, которые не были автоматически распределены.

Изменили категоризацию, из неопознанных терминов добавили в Software 3 термина:

Добавили в Usage occasion термины:

Остальные термины вручную трудно распределить однозначно.

Получили следующую картину, количество выявленных тем увеличилось, а также изменилась оценка их настроения. Например, в категории Software увеличилась доля нейтрального настроения, а в теме Usage occasion чистое настроение снизилось с 100% до 50%.

Проанализируем одну из тем более подробно. Например, автор поста, говоря о теме Usability из категории Performance, был исключительно позитивен, а психографическая диаграмма показывает, что, обсуждая эту тему, он был рационален и ориентирован на факты. Также он выступал амбассадором удобства использования программы. И так можно посмотреть психографику и психографические сегменты для каждой темы.

Представление в виде пузырьковой диаграммы особенно полезно для легкого определения высокозначимых/критических тем.

Показан объем конкретной темы по оси y и чистое настроение в% по оси x. Например, чем дальше тема находится справа и чем дальше она вверху, тем больше людей говорят о ней положительно.

В виде пузырьковой диаграммы категории распределились следующим образом. Так, автор текста чаще упоминал категорию Software, а категория с наиболее позитивной окраской – Performance.

Распределение настроений позволяет понять настроения на основе положительных, отрицательных и нейтральных тем и выбранных вами мета-значений.

Показанный здесь объем = количество упоминаний темы

В то время как в «Sentiment Analysis – Overview» настроения отображаются на уровне терминов, здесь в «Sentiment Distribution» настроения отображаются на основе положительных и отрицательных семантических отношений, то есть программа анализирует окраску не отдельных терминов, а высказываний и предложений в целом.

Так, в таблице дублируется уже известное нам значение чистого настроения тем. При этом высказывания автора о программе были на 46% позитивны, на 50% нейтральны и на 4% негативны.

Облако терминов в модуле Topic & Sentiment Detection позволяет глубже изучить фразы категорий и тем (а также соответствующие сообщения), которые наиболее часто появляются в ваших данных.

Чаще всего в тексте упоминаются термины Interface и Software, причем первый – с положительной окраской, а второй – с негативной.

Можно настроить облако слов, изменив количество слов, входящих в облако (25/50/75/100), а также сделав разбивку по положительным и отрицательным терминам.

Кроме того, при добавлении большего массива данных с несколькими отзывами в данном модуле возможно составление тепловой карты настроений и драйверов чистых настроений, а при добавлении даты строится распределение тем и чистого настроения во времени. Именно поэтому в первом шаге при составлении исходной таблицы данных мы указывали дату написания отзыва, наименование продукта и имя автора.

Анализ настроений в модуле Sentiment Analysis основан на модели глубокого обучения на пост-уровне, которая определяет настроения всего текста и конкретных тем или категорий. Он не ограничивается анализом настроения по ключевым словам, а рассматривает предложения и абзацы в целом, чтобы понять, какие настроения связаны с той или иной темой.

Анализ настроения дополняет анализ категорий и тем, чтобы передать не только то, о чем говорит человек, но и его отношение к этому.

На графике вы увидите объем текста, чистое настроение, а также гистограмму с абсолютными и относительными показателями настроения.

Автор текста на 100% позитивен в своем отношении к программе kompas-3D, об этом говорит само построение им предложений и абзацев, а не только то, что он использовал больше «позитивных» тем и категорий в своем тексте.

В этом модуле также возможно отследить изменение показателя чистого настроения с течением времени, воспользовавшись инструментом Net Sentiment Over Time.

Модуль Personality Traits позволяет разбить данные по всем доступным мета-значениям в проекте и отображает агрегированное представление черт личности: «эмоциональная« и »рациональная».

Черты личности — это фундаментальные блоки менталитета человека, а также то, как он выражает свои мнения/убеждения и принимает решения.

В основе черт личности лежат две полярные характеристики:

Обратив внимание на график, представленный ниже, мы можем сказать, что Jianhongwei810 является на 100% рациональным потребителем и оценивает продукт, детально анализируя его качества, характеристики и принимая взвешенное решение.

Данный инструмент показывает, как характеристики личности «эмоциональной» и «рациональной» могут быть разбиты по категориям и темам.

Так, автор текста полностью рационален по отношению ко всем категориям, упоминаемым в посте.

И, разумеется, полностью рационален по отношению ко всем темам, входящим в упомянутые категории. Его восторг программой аргументирован, решение принято не на эмоциях. Можем сказать, что он довольно объективен при принятии решений относительно тех или иных продуктов.

Существует 4 различных психографических сегмента (типы клиента по отношению к продукту): Лоялисты, Амбассадоры, Критики и Рискованные. Кроме того, существует нейтральный сегмент.

Каждый из них определяется индивидуальностью и тональностью настроений человека, текст которого мы анализируем.

Представим эти 4 сегмента в таблице:

На графике видно, что по отношению к программе автор текста является на 100% амбассадором. Данная характеристика сложилась из результатов анализа предыдущих модулей: мы уже видели, что автор высказывает свое мнение по большей части в положительном тоне и полностью рационален в своих рассуждениях. Такого клиента очень выгодно иметь бренду – благодаря своим аргументам и рассуждениям он сможет привлечь больше заинтересованных людей, которые в перспективе могут стать коммерческими клиентами.

Symanto разработала метрику, которая классифицирует каждое сообщение на «Продвигающее», «Недоброжелательное» и «Безразличное». Этот показатель говорит о предполагаемом влиянии сообщения на других и о том, рекомендуют ли потребители бренд другим или нет.

Пользователи, пишущие продвигающие или недоброжелательные сообщения, имеют твердое мнение в пользу или против определенного бренда или продукта. Они, как правило, стремятся к действию и поэтому влияют на других в принятии решений о покупке. Промоутеры обычно используют фразы типа «я бы купил это снова» или «обязательно к просмотру», в то время как негативно настроенные пользователи используют фразы типа «плохое соотношение цены и качества» или «ниже, чем ожидалось».

Продвигающие = как правило, лояльные и восторженные клиенты.

Равнодушные = удовлетворенные вашими услугами, но недостаточно счастливые, чтобы считаться промоутерами.

Недоброжелатели = недовольные клиенты, которые вряд ли будут покупать у вас снова.

Показатель «Эмоциональная связь» показывает долю эмоциональных промоутеров бренда или продукта. Чем выше этот показатель, тем лучше для компании, так как эмоционально настроенные клиенты более чем в два раза ценнее, чем клиенты с высоким уровнем удовлетворенности.

Показатель SRS (Symanto Recommendation Score) позволяет сравнить выбранные бренды или продукты по их общему баллу, рассчитанному на основе недоброжелателей и сторонников. Чем выше балл, тем лучше.

SRS =% промоутеров —% недоброжелателей.

Данный показатель лучше отражает картину бренда, когда для анализа предлагаются отзывы разных людей.

Согласно графику, представленному ниже, автор текста равнодушен по отношению к программе и не имеет с ней эмоциональной связи. По данным показателям, в отличие от результатов анализа предыдущего модуля, клиента нельзя назвать амбассадором бренда. Он удовлетворен продуктом, но не станет заниматься его дальнейшим продвижением, и его мнение не сильно скажется на мнении других людей.

Программа определяет стиль общения по двум наборам полярных измерений: самовыражение или ориентация на факты и поиск информации или стремление к действию.

Здесь, очевидно, за основу взяты психометрики когнитивных стилей.

Стиль общения, определенный по четырем характеристикам, помогает определить цель текста, что дает нам много ценной информации об авторе.

Важно помнить, что хотя эти два набора полярных измерений противоположны, это не означает, что люди не могут представлять собой смесь обеих полярностей.

Проанализировав отзыв о программе kompas-3D, мы можем сказать, что автор полностью ориентирован на факты и строит свое мнение только опираясь на них. В своем отзыве он не выражает каких-то стремлений, не побуждает других людей обязательно приобрести программу, но также и не задает вопросов относительно функционала программного продукта. Поскольку он в большей мере рационален, легко предположить, что результат анализа этого модуля правдив, и автор ориентируется на факты при составлении мнения о продукте.

Данный модуль помогает нам понять, как потребители описывают свой эмоциональный опыт общения с продуктом или брендом, не ограничиваясь только чувствами.

Эмоции, выявляемые искусственным интеллектом, не требуют явного упоминания, например, нет необходимости искать слово «радость» в посте. Скорее распознавание образов позволяет определить, какие слова или фразы в совокупности соответствуют эмоции «радость», и тогда мы понимаем, что потребитель доволен этим продуктом.

Текущие возможности искусственного интеллекта позволяют распознавать следующие эмоции:

В случае с нашим текстом не было определено никаких эмоций. Поскольку автор, как нам уже известно, человек достаточно рациональный, ориентированный на факты и не привязан к продукту эмоционально, можем предположить, что, действительно, он не испытывал ярких эмоций при написании данного текста.

Анализ влияния помогает понять, какое воздействие оказывают различные темы и категории на вашу компанию, конкурентоспособность и клиентскую базу.

На этой диаграмме представлены упоминания тем, общее количество обнаруженных тем и чистое настроение. Упоминания тем могут помочь вам определить наиболее часто обсуждаемые темы и возникающие тенденции.

Если бы мы загрузили несколько отзывов с указанием оценки каждого из них, на диаграмме также можно было бы увидеть среднюю оценку бренда/продукта по каждой из категорий и тем, а также общую среднюю оценку.

Средний рейтинг позволяет определить области, в которых бренд оценивается высоко, и области, которые нуждаются в улучшении. Например, если тема имеет низкий средний рейтинг, это может указывать на то, что клиенты недовольны определенным аспектом деятельности компании. И наоборот, если тема имеет высокий средний рейтинг, это может свидетельствовать о том, что клиенты довольны конкретным продуктом или услугой.

Диаграмма также может быть представлена в разделении на темы:

Наконец, чистый показатель настроения дает высокоуровневое представление об общем настроении клиентов, позволяя выявить сильные стороны и области, нуждающиеся в улучшении, путем фильтрации различных тем и категорий, чтобы увидеть, как меняется показатель настроения.

Например, пользователь на 60% удовлетворен предоставляемым разработчиком программы сервисом:

На 50% удовлетворен удобством использования программы:

Также возможно объединять сразу несколько категорий и представлять общий для них показатель чистого настроения. Так, например, если производительностью программы автор текста доволен на 63%, а программными компонентами – на 0%, то с учетом количества упоминаний тем, с ними связанными, общий показатель чистого настроения будет равен 50%.

В данном модуле при указании оценок в каждом отзыве также можно определить, каким именно образом каждая отдельная категория или тема влияют на общий рейтинг бренда/продукта.

Стоит отметить, что даже анализ отзывов в данной программе может быть проведен еще глубже. Так, возможна фильтрация исходных данных в каждом модуле по категориям (анализируем только термины определенной категории), стилю общения (анализируем только сообщения, в которых автор является амбассадором) и так далее.

Итак, на основе Symanto, у нас сложилось следующее представление о пользователе Jianhongwei810 и его отношении к программе kompas-3D:

Опыт тестирования программ анализа текста показывает, что разные программы могут давать довольно разные оценки одному и тому же тексту. Оценки могут существенно отличаться и у одной программы, в зависимости от объема вводимого текста.

Необходимо помнить, что программа дает оценку человека только на основе того текста, который предоставлен. Один и тот же человек может быть рационален в высказываниях, например, на профессиональные темы, и иррационален в других вопросах.

С точки зрения традиционных методов контент-анализа, проводимого человеком, программа Symanto выдает достаточно адекватную оценку. Действительно, китайский пользователь дает рациональные оценки и высказывается в позитивной манере.

По российским меркам, он демонстрирует избыточный энтузиазм в отношении продукта, что в России вызвало бы подозрение в ангажированности этого отзыва или прямом заказе со стороны бренда. В Китае это не столь однозначно, поскольку сам стиль китайских высказываний более прямолинейный; а также позитивное отношение вообще присуще китайцам. В отличие от России за прямолинейной похвалой и перечислением преимуществ продукта не обязательно стоит искать заказной отзыв (хотя это не исключено). Тема платных отзывов не является предметом нашего рассмотрения, есть другие критерии и средства определения платных отзывов. В данном случае нам было важно то, насколько программа адекватно оценивает психолингвистический стиль и контент высказывания.

Есть и несколько более слабых сторон программы.

Согласно Symanto, «Автор текста равнодушен по отношению к программе и не имеет с ней эмоциональной связи». Это утверждение является очевидно ошибочным. Во-первых, трудно считать равнодушным пользователя, который не пожалел времени и сил, чтобы на целую страницу текста перечислить разные функции программы. Перечисляя их, пользователь постоянно добавлял такие фразы:

И так далее. Комплименты достаточно явные, равнодушным отношением это назвать никак нельзя. Остается предположить, что Symanto недостаточно хорошо понимает текст в смысле эмоционального отношения к продукту.

Это же касается и определения эмоций по Экману (гнев, удивление, отвращение, радость, печаль). Текст нельзя считать нейтральным, как посчитала Symanto; этот текст, несомненно, является умеренно позитивным. Наличие довольно большого количества слов типа «хороший», «крутой», «классный», «отличный», да еще иногда и с восклицательными знаками, позволяет судить об этом вполне формально. При этом характеристик и терминов негативного свойства в этом тексте нет.

Соответственно, проводимая дальше оценка удовлетворенности клиента разными факторами несет на себе отпечаток этого сдвига оценки эмоций в нейтральную сторону. По Symanto, клиент удовлетворен сервисом на 50%, хотя если следовать содержанию и эмоциональной окраске текста, он удовлетворен почти всем, хвалит и рекомендует программу.

В конце текста он высказывает лишь локальные замечания по улучшению, что вполне естественно для активного и лояльного пользователя. В сущности, он является в данном посте промоутером бренда, хотя Symanto его таким считать отказывается.

#психометрия #маркетинговыеисследования #искуственныйинтеллект #обзорсервисов #обзор #полезноедлябизнеса