Перед нами стояла задача проанализировать мнение и отзывы пользователей соцсетей по отношению к нашей компании, классифицировать их и определить общую тональность. На помощь пришли методы AI.
Далее мы подробно опишем наш метод решения задачи, основанный на использовании Python, который позволит использовать ее даже начинающему DS-специалисту.
С помощью библиотеки requests и api-методов социальных сетей была произведена автоматизированная выгрузка комментариев с сайтов и форумов по направлению деятельности нашей организации. Далее была поставлена задача построения модели классификатора, выявляющей негативные комментарии в адрес нашей компании.
В качестве модели классификатора была выбрана модель логистической регрессии, т.к. для бинарной классификации текстовых данных она даёт довольно высокий процент правильных предсказаний. Метод логистической регрессии, основан на анализе материалов определенной выборки, где каждое из высказываний было проклассифицировано.
Вначале нам необходимо импортировать библиотеки:
Для дальнейшей работы необходимо загрузить данные для обучения модели. Сделать это можно запустив следующую команду:
В данном случае параметр «train» указывает на имя папки, в которой будет находиться наша обучающая выборка (для этого конкретного случая папка находится в одной директории с кодом программы, в случае если папка находится в другой директории, необходимо указать полный путь к ней).
Структура файлов для обучающей выборки:
В папке neg содержатся примеры отрицательных отзывов, в папке pos – положительных и нейтральных.
Пример содержимого папки с негативными отзывами (такая же структура файлов и в папке с положительными отзывами).
В каждом файле содержится текст одного позитивного или негативного отзыва, предварительно обработанного и приведенного к нормальной форме средствами NLP.
Теперь загрузим данные тестовой выборки, имеющие такую же структуру, как и в обучающей выборке:
Для дальнейшей работы нам необходимо составить словарь уникальных слов, используемых в обучающей выборке. Для этого будем использовать метод CountVectorizer:
Узнать количество уникальных слов, участвующих в формировании модели можно, запустив данную строку:
После формирования словаря мы произвели преобразование текстов комментариев в векторную форму на основании индексов входящих слов:
Далее обучим модель логистической регрессии, в качестве параметров для обучения используя полученные векторы предложений:
Выводим долю правильных ответов для обучающих и тестовых выборок:
В данном случае число 0.994 говорит о том, что на основании обучающей выборки модель может правильно классифицировать более 99% комментариев. Число 0.727 же показывает, как эта же самая модель на самом деле справляется с классификацией комментариев, не участвовавших в процессе обучения.
По этим двум числам разработчик может сделать вывод о точности модели и необходимости её улучшения, ведь в некоторых случаях необходимо разрабатывать модель, дающую точность близкую к стопроцентной, а в некоторых случаях точность классификации выше восьмидесяти процентов является недостижимой величиной.
В случае, если по мнению разработчика модель даёт недостаточно высокую точность классификации и требует дальнейшей доработки, есть два возможных пути решения данной проблемы: обогащение обучающей выборки данными или выявление и обработка (удаление из выборки, приведение к нормальной форме и т.д) слов, негативно влияющих на обучение модели (например, слов, которые часто встречаются как в негативной выборке, так и в позитивной).
Для выявления таких слов можно построить гистограмму для наиболее часто встречающихся в негативной и позитивной выборках слов. Для того, чтобы построить такую гистограмму, запустим следующий код:
В данном случае, на гистограмме будут отображены по 20 слов из негативной и позитивной обучающих выборок, которые наиболее сильно повлияли на процесс обучения нашей модели (на гистограмме столбцы с отрицательными значениями отвечают за слова из негативной выборки, положительными — позитивные).
Благодаря полученной гистограмме, разработчик сможет выбрать слова, которые стоит обработать (удалить, заменить, привести к нормальной форме). После всех этих манипуляций необходимо заново обучить нашу модель на исправленных данных.
В итоге, с помощью программного средства, реализующего модель логистической регрессии на сформированной обучающей выборке, удалось выяснить, что доля негативных комментариев в отношении компании составляет лишь 3,5% от общей выборки. Выявленные негативные комментарии могут быть использованы для анализа и совершенствования бизнес-процессов, а также минимизации различного рода рисков.