Как проанализировать отзывы клиентов с помощью ИИ и найти повторяющиеся проблемы

Соберите отзывы в один файл, присвойте каждому номер и поручите нейросети выделить конкретные претензии. Каждая претензия должна сопровождаться цитатой. Затем посчитайте, в скольких отзывах встречается каждая проблема.

Такой анализ отзывов с помощью ИИ даёт проверяемый результат. Можно открыть исходный текст и установить, почему отзыв попал в категорию. Для меня это главное требование к отчёту. Формулировка "клиенты недовольны сервисом" слишком общая, чтобы передать её сотруднику и получить исправление.

Для первого разбора возьмите один продукт или одну услугу за определённый период. Например, отзывы о доставке интернет-магазина за август. Сравнивать их будет проще, чем сообщения о разных товарах за несколько лет.

В файл добавьте идентификатор отзыва, дату, площадку, оценку и полный текст. Если анализируете несколько товаров, сохраните название или артикул. Ответ компании вынесите в отдельное поле, чтобы модель не приняла объяснение менеджера за слова покупателя.

Уберите повторно выгруженные записи с одинаковым идентификатором. При этом одинаковый текст у разных авторов ещё не доказывает дублирование. Такие случаи лучше пометить для проверки.

Не отбирайте только низкие оценки. Покупатель может поставить пять звёзд и написать о помятой упаковке. Если смотреть исключительно негативные оценки, эта претензия останется за пределами анализа.

Для настройки используем шесть учебных отзывов.

Здесь есть задержки доставки, повреждения упаковки, проблемы с ответами поддержки и отсутствие инструкции. Некоторые отзывы содержат сразу две претензии. Поэтому назначать каждому сообщению только одну категорию неудобно - часть содержания потеряется.

Я также разделяю проблему и её предполагаемую причину. Клиент сообщил, что коробка порвана. Из этого нельзя заключить, что виноват склад, перевозчик или производитель упаковки. В разметке должно остаться повреждение упаковки. Причину предстоит выяснить отдельно.

Сначала поручите модели составить перечень проблем. Пока не просите рекомендации по улучшению бизнеса.

После ответа проверьте названия категорий. "Доставка" слишком широко. Внутри могут оказаться опоздание курьера, высокая цена и отсутствие доставки по нужному адресу. Эти ситуации требуют разных действий.

Но дробить каждую формулировку тоже не нужно. "Не ответили в чате" и "не ответили по почте" могут относиться к общей проблеме отсутствия ответа. Канал обращения сохраняется как дополнительная подробность.

На учебных отзывах получаются четыре категории.

delivery_delay означает доставку позже обещанного срока. packaging_damage - повреждение упаковки. support_response - отсутствие ответа или задержку ответа поддержки. missing_instructions - отсутствие инструкции.

Зафиксируйте определения перед обработкой остальных сообщений. Иначе модель может в одной части файла назвать проблему "задержка доставки", а в другой - "нарушение сроков". При подсчёте это окажутся две разные категории.

Второй запрос задаёт правила разметки.

CSV нужен для дальнейшего подсчёта. В результате каждая проблема связана с исходным отзывом через его идентификатор.

При большом файле обрабатывайте материалы частями, передавая каждой части одинаковые определения категорий. Размер части подбирайте так, чтобы результат содержал все идентификаторы и не обрывался. Если модель пропускает записи, уменьшайте объём.

Для небольшого набора прочитайте все строки результата. Для большого сначала проверьте полноту - каждый исходный идентификатор должен присутствовать в разметке хотя бы один раз. Отдельно просмотрите новые категории и неоднозначные случаи.

Цитата должна дословно находиться в исходном отзыве. Фраза "клиент долго ждал ответа" пересказывает содержание. Для R01 подтверждением служит "В поддержке ответили только после третьего сообщения".

Именно цитата позволяет проверить вывод модели.

В R04 есть положительная оценка товара и конкретная претензия к комплекту. Такой отзыв нельзя целиком записать в положительные и исключить из разбора проблем. В R05 претензий нет. Придумывать их ради заполнения полей не требуется.

Для повторной проверки используйте отдельный запрос.

Повторная проверка моделью не заменяет просмотра исходных сообщений. Но она даёт конкретный перечень мест, к которым нужно вернуться.

Для анализа обратной связи клиентов считайте количество уникальных отзывов с каждой проблемой. Повторение одной жалобы трижды внутри сообщения не превращает её в три отдельных случая.

В нашем наборе задержка доставки встречается в R01 и R06. Повреждение упаковки - в R02 и R06. Проблемы с ответами поддержки - в R01 и R03. Отсутствие инструкции - в R04.

Получается по два отзыва для первых трёх категорий и один для последней. Всего семь назначений категорий на шесть отзывов, потому что в R01 и R06 описаны по две проблемы.

Если считать долю от всех шести отзывов, каждая из первых трёх категорий получает примерно 33,3%, а отсутствие инструкции - 16,7%. Сумма превышает 100%. Ошибки здесь нет, категории пересекаются.

В отчёте обязательно укажите основание расчёта. "Два из шести отзывов" понятнее, чем число 33,3% само по себе. Это доля в выбранной подборке, а не доля всех покупателей компании.

Подсчёт поручите формуле или скрипту. Нейросеть уже выполнила содержательную часть - выделила и распределила претензии. Для арифметики достаточно сгруппировать записи по категории и посчитать уникальные идентификаторы.

Частота показывает, что повторяется в отзывах. Она ещё не объясняет, какое исправление даст наибольший эффект.

Поэтому рекомендации нужно привязывать к подтверждённой проблеме и следующей проверке.

Для задержек доставки следующий шаг - сопоставить обещанную и фактическую дату по соответствующим заказам. Затем выяснить, на каком этапе возникло опоздание. Менять перевозчика только на основании текста двух отзывов преждевременно.

Для повреждённых коробок нужны фотографии упаковки и сведения о товаре, складе и доставке. Для проблем с поддержкой - время обращения и первого ответа. Отсутствие инструкции проверяется по комплектации конкретного заказа.

Такой отчёт уже можно передать ответственным сотрудникам. В нём есть проблема, подтверждение и действие, которое помогает установить причину.

После первого разбора сохраните категории, правила разметки и проверочные примеры. В следующем месяце используйте те же определения.

Сравнивайте одновременно количество отзывов с проблемой и их долю. Десять жалоб из ста и десять из тысячи означают разную частоту упоминаний в выборке.

Если появляется новая категория, проверьте, не встречалась ли она в старых сообщениях под другим названием. Иначе изменение разметки можно ошибочно принять за появление новой проблемы.

Я считаю анализ полезным, когда после него можно вернуться к конкретному отзыву и объяснить каждое число. Если отчёт заканчивается фразой "повысить качество обслуживания", разбор нужно продолжить до конкретного действия - проверить срок доставки, время ответа или состав комплекта.