Анализ отзывов в App Store приложений страховых компаний РФ

Что не нравится клиентам и почему есть диспропорция в одобрительных отзывах?

Материал подготовлен совместно с экспертами А. С. Болотоковым и А. В. Тхагапсовым.

Задача: проанализировать отзывы клиентов на приложения страховых компаний.

• Находим список страховых компаний в России
• Фиксируем наличие приложений в Апсторе
• Выписываем всю мета-информацию (актуально на конец ноября 2021)
• Используя библиотеку app_store_scraper скачиваем оценки пользователей

В наш предварительный список попало 11 компаний, но адекватное количество комментов было только у 6 компаний, которые мы будем анализировать дальше.

Ссылка на Гугл-таблицу со сводной информацией:

Ссылка на Колаб-тетрадку с кодом анализа:

Что означает такая диспропорция не понятно, есть несколько предположений:

• Оставляя негативный отзыв пользователь аргументирует свое недовольство
• Возможно РЕСО и ВСК работают с негативными оценками, то есть стараются решить проблему клиента (аналогично работе с отзывами на разных маркетах и букингах, когда любо негативный комментарий просят удалить взамен презента или скидки)
• Другое осторожное предположение — большая часть оценок без комментов синтетическая, а не органическая (что бы это не значило)

Говорить про средний уровень оценок с комментом в районе 20% от общего количества оценок по 6 замерам будет слишком смело, но вот эти пограничные значения Ингосстраха и РЕСО действительно ярые.

Остальные показатели:

• Самое легкое приложение у РЕСО (около 20 МБ, вроде как там простой функционал), два тяжеловеса — Ингосстрах и ВСК (чуть больше 250 Мб).
• Самая популярная версия совместимости iOS 11. Старейшая версия у ВСК (iOS 10), самая новая у Согласия (iOS 12).
• Приложения Альфы и Согаза имею ограничения по возрасту +12, остальные +4.
• Практически все приложения на конец ноября 2021 были имели последние обновления не старше 15 дней.

Для анализа взяли период с января 2018 года по ноябрь 2021.

Распределение оценок отличается от приложения к приложению.

Предполагаем, что можно упростить оценки до бинарного значения хорошо-плохо. Так, приняв оценки 5 и 4 за хорошо, остальное за плохо мы сможем замерить диспропорцию в доле хороших отзывов.

Средняя длинна коммента и оценка

Оказывается средняя длинна коммента отличается в зависимости от оценки.

Средняя длинна в разрезе приложений

Если же мы посмотрим на среднюю длину комментов Хорошо/Плохо в разрезе приложений, то окажется что между ними тоже есть различия.

Предполагая, что одной из основных задач владельца продукта является улучшение этого продукта через анализ обратной связи с пользователем, фокусируемся на негативных комментах, как самых искренних.

Конечно, бывают задачи, когда необходимо понять чем продукт нравится пользователю и что его отличает от остальных, но это упражнение чаще в рамках стратегических задач.

Облака слов по отрицательным оценкам в разрезе приложений

Используя библиотки pymystem3 (для лемматизации), nltk (подгрузка списка русских стоп-слов) и wordcloud (отрисовка облака слов) мы можем отрисовать облака слов в разрезе приложений. Кроме стандартных русских стоп-слов были исключены следующие: 'приложение', 'полис', 'это'.

Кластеризация комментов

Корпус слов 3285 комментов Плохо состоит из 5308 уникальных словоформ. При этом, более чем в двух комментах встречаются 2089 слова, а более чем в 20 — 510. Эта информация пригодится для определения возможного кол-ва признаков.

Применив к набору комментов библиотеки sklearn (TfidfVectorizer — генерация признаков, KMeans — кластеризация) и yellowbrick (KElbowVisualizer — поиск оптимального кол-ва кластеров) мы разбиваем наши комменты на кластеры.

Получив облака слов в разрезе кластеров вручную фиксируем предполагаемый смысл:

• 0: Проблемы с записью к врачу
  
• 1: Проблемы с оформлением ОСАГО
  
• 2: Проблемы с гарантийным письмом
  
• 3: Прочие причины
  
• 4: Ошибка после обновления
  
• 5: Проблемы с вводом данных
• 6: Проблемы с записью в клинику
• 7: Проблемы с регистрацией (код/смс)
• 8: Проблемы со входом в приложение (пароль/логин)
• 9: Недовольство поддержкой (чат, оператор)
• 10: Проблемы добавить/продлить ОСАГО

Доля кластеров в разрезе приложения

В кластер Прочие причины попало от 33% (Согаз) до 45% (Альфа) всех негативных комментов. Второй по популярности кластер — Проблемы добавить/продлить ОСАГО (10% — РЕСО и 22% — ВСК).

Общие комментарии следующие:

• По 13% комментов попали в кластер Недовольство поддержкой (чат, оператор) приложений Альфа и Согласие.
• Любопытно, что Альфа и Согласие также в лидерах по доле кластера Прочие причины.
• Проблемы с вводом данных наблюдаются у Согаза (12%) и Согласия (9%)
• Проблемы со входом в приложение испытывают клиенты Ингосстраха И РЕСО (18% и 8%).
• Запись в клинику и к врачу — головная боль клиентов Согаз и РЕСО (12% и 18:)

Поквартальная динамика кластеров

Общие комментарии следующие:

1. У ВСК растет доля кластера Проблемы добавить/продлить ОСАГО
2. Ребятам из Альфы и Согласия удалось к 2 кварталу 2021 снизить недовольство поддержкой, но в третьем квартале уровень вернулся к показателю на начало года.
3. Ребята из Ингосстраха в третьем квартале 2020 столкнулись Проблемой добавить/продлить ОСАГО, но устранили ее к 2021.
4. У РЕСО и Ингосстраха относительно много недовольных проблемой со входом в приложение.
5. У Согаза все только начинается.

Некоторые артефакты остались без объяснения:

• Почему для некоторых приложений средняя оценка с комментом отличается от общей оценки.
  
• Почему такой большой разброс приложений по доле оценок с комментом от общего кол-ва оценов (3%-51%)
• Что означают пики и широкие локальные «полоски» положительных комментов.
  
• Почему доля оценок 2-4 отличается у некоторых приложений.
• Почему длинна комментов Хорошо отличается по некоторым компаниям от среднего по нашей выборке.

Прочие причины забирают на себя от трети до половины всех негативных комментов, возможно для более тонкой классификации необходима дополнительная разметка.

Предполагаем, что улучшить классификацию можно если вместо конкретных слов использовать их векторные представления, что позволит объединять близкие по смыслу структуры.

Приведенная в Colab тетрадка может быть использована для проведения аналогичного исследования по другим индустриям.