Как AI меняет клиентский сервис. Часть 1
Почему мы недовольны ответами чат-ботов и просим их быстрее перевести диалог на оператора?
Привет, это Cloud.ru — провайдер облачных сервисов и AI-технологий. Мы работаем с искусственным интеллектом на двух уровнях: разрабатываем сервисы для запуска и масштабирования приложений на базе GenAI и сами внедряем AI в нашу повседневную работу. Например, в клиентский сервис, чтобы наши пользователи максимально эффективно решали свои задачи и уровень удовлетворенности услугами и сервисами только возрастал.
Почему многих не устраивают ответы AI в поддержке
Наверняка многие из вас хоть раз попадали в ситуацию, когда задаешь чат-боту вроде бы элементарный вопрос, но он сначала уточняет одно, другое, третье, а затем говорит, что нужна помощь оператора:
Обратная сторона той же медали, если спросить у чат-бота что-то конкретное, например, как получить выписку по счету. Бот расскажет все: какой нужно выбрать период, что будет в выписке, как долго ее будут делать, но только не ответит на главный вопрос — как же ее получить:
А иногда чат-бот просто зацикливается и по несколько раз подряд здоровается с пользователем или присылает одни и те же варианты ответов, которые уже не раз предлагал выше в переписке.
Часто компании используют классические сценарии автоматизации, которые работают примерно таким образом:
- Пользователь пишет запрос.
- Этот запрос попадает в какой-то препроцессинг на скриптах, который думает примерно так: «вроде бы здесь есть слово “здравствуйте”, давайте запустим сценарий “здравствуйте”».
- Дальше вступает обученная модель классификации и запускается подходящий сценарий. Это может быть приветствие, обработка заказа и в целом сценарий чего угодно.
Проблема такого подхода в том, что нужно прописывать сценарий и логику на каждый тип обращения, которых может быть миллионы. Нужно сначала выявить эти типы, разложить по ним обращения, прикинуть все нужные интеграции, сделать верификации и построить процессы так, чтобы все это было алгоритмизируемо.
Но все сценарии продумать невозможно. Например, у нас три облачные платформы, внутри каждой из них — десятки сервисов. Вариативность вопросов клиентов феноменальная. В одну минуту в службу поддержки обращаются клиенты, которые решают разные технические задачи: запускают виртуальную машину, разворачивают кластеры в Kubernetes или обучают модель. На все эти вопросы отвечают опытные инженеры службы поддержки.
Но вместо того, чтобы расписывать все сценарии и пытаться полностью заместить специалиста поддержки искусственным интеллектом, мы сделали удобный инструмент на базе AI, с помощью которого любой инженер может быстро разобраться в проблеме и помочь клиенту при этом не потерять человечность ответов и делать их даже более дружелюбными.
Как мы внедряли AI в поддержку: два этапа
Перед командой стояли три цели:
- Сократить время, которое задача находится в работе у инженера (Average Handling Time, AHT).
- Сделать ответы дружелюбнее.
- Создать AI-агента, чтобы автоматизировать ответы на простые вопросы.
В этой статье будет рассказ, как мы решили первые две задачи.
Этап 1. Сократить АНТ
Для этого мы внедрили генеративные подсказки — варианты ответов, которые автоматически создаются большой языковой моделью. LLM определяет, с чем пришел пользователь, как ему помочь, и дает инженеру готовую подсказку, которую он может скорректировать и отправить клиенту.
Собрать генеративные подсказки — не такая простая задача. Для этого мы:
- Вычитали большой пласт обращений. Потратили на это месяц, разбирались, какие вообще есть типы обращений, что интересует клиентов, как можно классифицировать эти обращения.
- Кластеризовали данные с помощью машинного обучения.
- Обучили модель классификации, чтобы понять, какие у нас есть тематики.
- Поняли, что есть тематики обращений, которые обычной документацией не закрываются, поэтому сделали дополнительную кастомную базу знаний. В ней мы сами готовим документацию, оформляем ее под формат RAG-сервисов и учитываем специфику работы сервиса. Например, смысловой блок документа не должен превышать 100 слов.
- Собрали базу знаний для модели, которую непрерывно обновляем и пополняем.
- Дальше много промптили, подбирали модели. Для этого у нас есть Evolution AI Factory — облачная среда с AI- и ML-инструментами. Например, с помощью Evolution Foundation Models вы можете выбрать готовые LLM- и AI-модели и адаптировать их под свои задачи.
Так мы получили простой и удобный инструмент, который учитывает проблему пользователя, возможности наших сервисов и всегда находится под рукой у инженера. В интерфейсе коллег это выглядит так:
- лампочка хранит сгенерированные подсказки;
- карандаш исправляет орфографические и пунктуационные ошибки;
- молния улучшает тон всего ответа (о ней будет дальше);
- лист копирует подсказку в рабочую зону.
Что нам дали генеративные подсказки:
- АНТ сократилось на 25 минут. Это влияет и на все прочие метрики поддержки: SLA на ответ, количество отработанных тикетов.
- Покрыли 62% входящего потока обращений.
- Получили фундамент для дальнейшей автоматизации.
Этап 2. Сделать ответы дружелюбными
Все по-разному понимают, что такое дружелюбие. Кто-то считает, что текст без ошибок и есть уважительное обращение, кто-то, что должно быть коротко и ясно, а кто-то, что дружелюбие — это когда тебе в целом отвечают.
Это подтверждает гипотезу, что у каждой компании есть свое понимание, что есть дружелюбие, как и у каждого человека.
Поэтому, когда мы говорим, что хотим сделать дружелюбные ответы, то имеем в виду комплекс мер. И у себя мы решили эту задачу таким образом:
- Адаптировали Tone of voice (голос бренда), который ранее разработал департамент бренд-маркетинга и коммуникаций, для инженеров поддержки и провели обучение.
- Создали чек-лист для LLM. Чтобы замерить прогресс и оценить, стали ли инженеры отвечать дружелюбнее, сделали объективную метрику: разложили ToV на чек-лист из 10 простых вопросов, на которые можно ответить «да» или «нет». Например, есть ли в тексте канцеляризмы, которые усложняют ответ инженера и добавляют лишний официоз. Модель проходит по чек-листу и анализирует каждый ответ, который уходит клиенту. Благодаря этому у нас появилась метрика, которая оценивает дружелюбие ответа и соответствие Tone of voice в целом.
- Добавили в рабочее место инженера ту самую молнию, которая рядом с карандашом на скрине выше. Этот инструмент учитывает Tone of voice, добавляет в текст структуру и выдает ответ в нужном формате. Работает так: инженер пишет ответ, нажимает на одну кнопку и получает текст, который разбит на абзацы, в нем нет ошибок, ссылки вставлены правильно, а сложные предложения стали простыми и читаемыми.
Сейчас мы уже видим прогресс по метрике Tone of voice и, самое главное — мы перестали видеть фидбэк клиентов про недостаток дружелюбия в ответах.
Что в результате
Один из важных показателей для нашей компании — уровень удовлетворенности клиентов (NPS). За год этот показатель вырос на 17 пунктов, и многие клиенты отметили рост качества и скорости работы технической поддержки.
Если посмотреть на фактическое использование LLM сотрудниками, то статистика такова: 47% ответов были даны с использованием генеративного AI. Это могла быть генеративная подсказка, улучшение текста или исправление ошибок. Важно отметить, что у инженеров нет KPI на создание ответов с AI — каждый сам решает, когда стоит обратиться к этим инструментам.
Дальше мы перешли к работе над AI-агентом, который уже отвечает на 10% запросов наших клиентов, а к концу года в наших планах доверить ему до 70%.
О том, как мы создавали агента, какие результаты получили и как AI будет менять работу поддержки дальше — расскажем во второй части. А пока делитесь в комментариях — какие инструменты или сервисы на базе AI используете вы? И для каких задач?