Анализ отзывов пользователей с помощью ChatGPT для английского в Яндекс Практикуме

Как мы в Hints за один вечер проанализировали 1000 отзывов учащихся онлайн-курсов английского в России для направления английского в Яндекс Практикуме (подробно и с блок-схемами)

Статья от Анны Дорменевой, тимлида Hints

В прошлой статье я писала о том, как можно использовать искусственный интеллект в исследованиях, и многие попросили меня рассказать, как именно мы применили ChatGPT для анализа отзывов пользователей.

При анализе продуктов конкурентов анализ отзывов пользователей позволяет получить информацию, которую вы можете использовать для получения конкурентного преимущества на рынке:

• слабые места в продукте конкурентов или в сервисе вокруг этого продукта;
• бест-практис и преимущества продуктов конкурентов;
• позиционирование в сознании пользователей продукта.

Во времена ручной обработки данных наша методология работы с отзывами выглядела следующим образом:

• спарсить отзывы с отзовика;
• глазами просматривать отзывы и выделять в них те смысловые категории, по которым мы будем оценивать отзывы (например, “удобство платформы”, “качество техподдержки” и так далее), одновременно анализируя просматриваемые отзывы на предмет наличия в них этих категорий;
• подсчитать количество позитивных и негативных отзывов по каждому из параметров;
• на основании этого сделать data driven анализ с выводами о том, что хорошо и что плохо у каждого из конкурентов (это могут быть как рекомендации, так и специальные фреймворки, например, матрица восприятия, которая показывает, как конкуренты в сознании пользователей располагаются по осям, отображающим определенные качества их продукта, например, дорого/доступно, традиционно/технологично).

Ручная обработка имела множество ограничений:

• занимала много времени: один очень хорошо подкованный ассистент мог анализировать до 100 отзывов в час;
• сильно зависела от качества анализа человека: если ассистент торопился, он мог пропускать единицы смысла или неверно их интерпретировать;
• итоговый результат был выражен в цифрах и не давал возможности спуститься обратно на уровень текста и посмотреть, что именно пользователь оценивал негативно или позитивно на уровне каждого конкретного отзыва;
• в процессе анализа отзывов могли вылезать новые категории смысловых единиц и тогда нужно было начинать просмотр отзывов с самого начала или жертвовать вновь обнаруженными категориями.

Как мы с этим справлялись:

• снижали количество исследуемых отзывов, жертвуя, например, положительными отзывами и анализируя только негатив;
• смирялись с упущенными категориями и недостаточно качественным анализом;
• отказывались от анализа отзывов, как от чересчур трудоемкого и слишком приблизительного инструмента анализа.

В процессе работы над анализом рынка для нашего клиента - курсов английского в Яндекс Практикуме - мы решили применить для анализа отзывов о продуктах конкурентов ChatGPT API. Это был очень подходящий кейс для применения ИИ в анализе отзывов:

• нашей задачей было исследовать b2c-продукт, на который пользователи часто и охотно оставляют отзывы, а значит, анализ будет иметь статистически значимый результат;
• у Хинтс большая экспертиза на рынке онлайн-образования, а значит, мы сможем на всех этапах контролировать работу и выводы ИИ, оперативно находить ошибки и дорабатывать метод;
• возможность применить технологичное решение для одного из наших самых технологичных клиентов.

Я описала методологию сбора и анализа отзывов нашему IT-консультанту Евгению Басмову, мы изучили блок-схему процесса, и стало понятно, что в этой задаче искусственный интеллект может заменить человека на многих этапах:

• на основе предварительного анализа предложить категории, по которым будет оцениваться вся масса отзывов (мы оставили возможность после этого этапа доработать список категорий вручную на основе собственного представления о рынке);
• проанализировать отзывы в разрезе категорий - проверить, встречается ли в отзыве единица смысла, которую можно отнести к одной из категорий, и оценить ее эмоциональную окраску (позитив/негатив);
• собрать все единицы смысла, относящиеся к определенной категории и на их основании сделать верхнеуровневые выводы о том, что больше всего волнует пользователей внутри определенной категории.

Какие преимущества анализа отзывов с использованием ИИ:

• значительное ускорение процесса: вместо часа на разбор 100 отзывов, не считая подготовительных и обобщающих аналитических работ, ChatGPT делает всё вместе за пару часов;
• возможность обработки большего количества отзывов: теперь мы можем анализировать отзывы за больший промежуток времени и с большей статистической значимостью, а также не откидывать положительные отзывы для сокращения объёмов работы;
• очень тщательный отбор категорий для анализа: ИИ предлагает большой спектр релевантных категорий, можно добавить дополнительные вручную, и нет необходимости урезать их количество; если в результате по каким-то из категорий не наберется достаточного количества значимой информации, их можно будет откинуть на заключительном этапе - на время анализа это не повлияет;
• итоговый результат сочетает в себе как data-driven аналитику, так и смысловой контекст, к которому можно вернуться, если на уровне цифр обнаружился интересный инсайт, и хочется понять, что конкретно пользователь имел в виду.

Пример отзыва и его анализа с использованием OpenAI:

Один из вариантов представления анализа статистической информации (фрагмент таблицы):

На основании этих данных мы смогли понять, что в продукте наиболее важно для пользователей. Это знание пригодится нашему клиенту на этапе приоритизации внедрения доработок в продукт.

Одновременно с анатилическими таблицами и чартами, построенными на их основе мы автоматически получили саммари по каждой из выделенных категорий по всем конкурентам.

Направления для дальнейшего улучшения и развития метода:

• сейчас значительная часть времени тратится на поиск и парсинг отзывов - кажется, есть возможность передать и эту часть процесса искусственному интеллекту;
• хочется попробовать применить разработку к другим областям маркетинговых исследований, например, к анализу УТП.

В целом, наш опыт использования ИИ в анализе отзывов оказался успешным. Профит для нас: мы экономим время и получаем предсказуемый результат в удобной для дальнейшего анализа форме; профит для наших клиентов: мы можем обработать больше даты, а значит, можем проанализировать отзывы по большему количеству продуктов-конкурентов, за больший период времени, более статистически значимо. И сделать большее количество выводов и рекомендаций по доработке продукта и улучшению его позиционирования.