PayPal под капотом: AI-модель для определения тональности и тегирования обращений от пользователей

Поднимите руку, кто хоть раз создавал скрипты для отдела продаж и обучал команду? Вы проверяли, следуют ли продавцы и поддержка этим скриптам? И кто старался настроить первую линию саппорта, чтобы она справлялась с ненужными обращениями и выделяла важные сообщения?

Вы тоже устали думать, почему висит тонна неотвеченных тикетов, , составлять график смен саппортеров и потом искать ответственных за проверку или написание новых скриптов?

I feel your pain! А еще я знаю, что задача внедрения в бизнес виртуальных менеджеров продаж — актуальна для всех, и для салона красоты, состоящего из 2 мастеров, и для крупного банка (и мы сейчас не про эти, раздражающие роботы, которые постоянно не могут понять, что вам надо).

Привет, я Дарья Goodwill! Давайте знакомиться — я CBDO flexitech.ai, компании по разработке решений на базе ИИ, основатель онлайн-школы Goodwill AI (про то, как внедрить доступные нейросети в работу и жизнь), я 13 лет в Digital Marketing, фаундер развлекательного стартапа на нейронных сетях и популяризатор ИИ.

Не знаю как вы, но лично я в восторге от этой идеи и хочу, чтобы все службы могли отвечать мне 24/7 и предоставлять нормальный качественный уровень клиентского сервиса.

Мы видим спрос на такую автоматизацию на рынке и мы умеем работать такими с запросами. Опираясь на ваши требования и в зависимости от начинки AI-модели, мы можем собрать разные по наполненности и стоимости решения.

Сразу пойдем с козырей и я расскажу вам про наш дорогой и яркий проект для PayPal. Разберем его на составляющие, чтобы было понятно, почему стоимость разработки таких систем с подобными требованиями реально высокая.

Дано: всем известная fintech компания.

Задача: регулятор требует отрабатывать жалобы в соответствии с предоставленными ими же критериями, в первую очередь. В противном случае регулятор грозил санкциями.

Проблема: множество входящих каналов для обращений: голосовые звонки, тикеты на платформе и письма в службу поддержки

Важно: скорость обработки запросов пользователей, абсолютная секьюрность информации, вся система должна быть развернута в замкнутом контуре на серверах компании, никаких сторонних API и прочего.

Конечно, AI-модель, которая описана в этой статье и которая помогла удовлетворить все требования регулятора для работы PayPal на рынке UK — уникальная, секьюрная и дорогая. И сейчас я постараюсь описать, почему именно!

Решение:

Мы разработали модель на основе ИИ для определения тональности обращений и тегирования сообщений от пользователей:

Теперь о технической реализации, если типы моделей нейронок вам не так интересны- листайте в конец к выводам:)!

Представьте, в компании несколько тысяч сотрудников в отделе службы поддержки клиентов, данные об обращениях поступают из различных каналов:

Это огромный объем информации, к тому же подпадающей под строгие условия NDA, хранится на отдельном сервере. Система обработки звонков представлена транскрибацией, преобразованной из речи в текст с использованием text-to-speech технологии.

То есть, все предоставленные обращения в конечном виде представляю собой текст.

За один диалог с пользователем может разговаривать несколько операторов, диалог может быть разорван или поддерживаться по нескольким каналам: сначала человек мог начать общаться через чат, а потом позвонить по телефону и закончить письмом на мейл.

Обученная AI модель должна автоматически распознавать категорию претензии в запросе, маркировать ее соответствующим образом и пересылать регулятору в течение 2 часов.

Также она должна формировать краткое описание(саммари) для передачи другому специалисту.

На кону большие штрафы для PayPal!

За 3,5 месяца (а это фантастически мало для решения задач такого характера) командой flexitech.ai было разработано и внедрено решение, которое не только соответствовало высоким стандартам регулятора в определенном регионе (в данном случае, UK) но и обеспечивало эффективное продолжение работы на рынке.

Предоставленные нам данные не размечены и их много. Их все равно надо обработать, для того, чтобы после на них можно было обучить модель (какая бы она ни была). И для этой цели мы задействовали помощь агентов поддержки. Вручную они промаркировали более 5000 диалогов на предмет наличия в нем претензии. На это мы потратили около 2 недель. Полученных данных немного, но достаточно, чтобы протестировать разные типы AI решений.

Сценарий первый. TF-IDF и SVM (26% точности):

В попытке первичной обработки данных был выбран метод TF-IDF (Term Frequency-Inverse Document Frequency) для векторизации текста, при котором каждому слову присваивается вес в зависимости от частоты его встречаемости в документах. Однако точность этого метода оказалась недостаточной - менее 30%. После векторизации текста использовался метод машинного обучения SVM (Support Vector Machines) для классификации, но и так не получилось достичь целевой метрики.

Сценарий второй. Fasttext и SVM (67% точности):

Для повышения эффективности был предпринят шаг к использованию Fasttext и SVM. Fasttext, разработанный Facebook, основан на более глубоком анализе слов, а не предложений, что позволяет учесть более тонкие нюансы. SVM, в свою очередь, применялся для классификации на основе обученных векторов Fasttext. Такой подход, работая на уровне слов и нграмм, позволил улучшить точность модели до 67%.

Not bad! Пробуем дальше

Идеальное Решение: ULMFIT на словах (81% точности):

Наконец, для достижения оптимальных результатов был использован метод ULMFIT. Эта универсальная языковая модель предоставляет глубокие знания о контексте слов и предшествует более известной модели GPT. ULMFIT обучалась на всем объеме диалогов, приведя к выдающейся точности в 81%. Этот подход позволил адаптировать модель для синтеза саммари по диалогам, что оказалось весьма полезным в процессе передачи информации между специалистами.

Наша AI-модель успешно решает сложные задачи обработки обращений, определяя их тональность и теги. Эффективность модели подтверждена на практике в крупных финансовых организациях. Быстрота и точность обработки обращений гарантируют успешную работу, соответствуя высоким стандартам регуляторов.

Наверное, сейчас вы думаете, что такие разработки доступны только для крупного бизнеса за “много миллионов”.

Нет, все не так, иначе мы бы про это с вами и не говорили) Поверьте, мы умеем делать хорошо и для косметологической клиники и для компании уровня Алиэкспресс. Но об этом в следующих сериях!

Stay Tuned!

Пишите в наш, совсем не умный, но дружелюбный чат бот FlexiTach.ai, чтобы получить 115 AI решений для 9 отраслей, которые уже приносят прибыль компаниям