Научили нейросеть отвечать клиентам лучше сотрудников поддержки
Наша команда использовала низкий сезон себе на пользу и разработала умного бота для поддержки Timeweb. Всё лето тестировали нейросеть, пока не добились высокого качества ответов. В результате встретили осень не с одним, а с двумя помощниками для двух разных продуктов.
С чего все началось
Чуть больше года назад в Timeweb решили прокачать команду поддержки и обратились за помощью к нашей команде. Хотели научить сотрудников первой линии даже сложные термины объяснять простыми словами, отвечать на вопросы клиентов прямо и придерживаться единого TOV. Благодаря этому сотрудничеству появилась книга знаний, в которой были сформулированы все правила общения с клиентами.
Книга зашла на ура, повысила мотивацию отвечать клиентам круто, а количество апелляций саппорта на оценки контроля качества снизилось в 14 раз. Ребята поняли, как должен выглядеть суперкачественный ответ — от приветствия до решения вопроса.
На одной из встреч по итогам обучения мы рассказали, что научили ChatGPT отвечать клиентам так же классно, как и их команду. В результате они сами загорелись идеей попробовать внедрить нейросеть. Мы уже были сильно погружены в сам продукт, так что в теории работа должна была пойти быстрее.
Первый не пошел
Перед стартом выяснилось, что эксперименты с ботами в Timeweb уже проводили. Чтобы скорость ответов поддержки соответствовала качеству самого сервиса, сначала внедрили элементарного бота в виртуальном хостинге. Хотели с его помощью рассказывать, что и как работает, а также отвечать на вопросы, связанные с тарифами.
В команде Timeweb Cloud тоже пытались экспериментировать с искусственным интеллектом. В итоге удовлетворенность помощником составила 64%, но снижения нагрузки поддержка не заметила.
В этот раз решили делать всё по-другому.
Не всё и не сразу
Один из самых важных этапов проекта — создание MVP. Под этим в компании подразумевали бота, который получает сообщения от клиентов, сам формирует ответ и передает его саппорту на апрув.
В поддержке самая большая нагрузка приходится именно на первую линию: до второй доходит только 20% обаращений. Прежде всего нужно было оценить, получится ли у бота закрывать тикеты и в каком количестве. Прогнозировать качество ответов было трудно из-за сложности самого продукта. Кроме того, в базе знаний обеих компаний было мало актуальной информации, и нужно было пересобрать ее с нуля.
Начали с того, что выбрали 4 простые тематики, по которым клиенты пишут в поддержку. Решили, что тематики, на которые может отвечать бот, добавлять нужно постепенно, чтобы сохранить фокус на качестве ответов.
В каждой из них определили, какие обращения бывают по типу. Получилось три категории:
- Простой вопрос — простой ответ.
Например, клиент спрашивает, как изменить пароль, а бот отправляет ему пошаговую инструкцию. Команда назвала эту категорию инфовопросами. - Вопрос про самого клиента.
Например, клиент уточняет, какой у него тариф. С одной стороны вопрос простой, но для ответа нужно считывать данные из API и соотносить эту информацию с базой знаний. - Нужно что-то сделать.
В эту категорию попадали все вопросы, ответ на которые требовал действия от сотрудника. Например, поменять тариф или подключить дополнительную услугу.
В компании сомневались, сможет ли бот классно отвечать даже на самые простые вопросы, но когда увидели результаты тестовой среды, энтузиазм команды вырос в разы.
Даже за первую неделю тестов в песочнице команда получила 70% качественных ответов.
После успешного тестирования команда пошла на следующий этап — MVP
Теперь саппорты получали тикеты с комментариями бота: они могли их принимать или отклонять, если ответ был с ошибкой. Менеджеры тоже вычитывали 100% диалогов.
Главной задачей стало растить качество ответов от нейросети. На первой неделе MVP качество ответов было 75,56%, на второй неделе 89%, на финальном срезе — 93%.
Для оценки качества команда выбрала несколько критериев: понимание задачи, понятная формулировка, были ли критические ошибки, удалось ли решить вопрос клиента и пр.
На старт, внимание
Когда в Timeweb поняли, что качество ответов в MVP их устраивает, стали думать в сторону технического решения: как выйти в прод, то есть начать отвечать клиентам напрямую. Важно было обеспечить бесшовный переход от бота к человеку в тех ситуациях, когда нужно было эскалировать задачу.
Это мог быть случай, когда для решения нужны ручные действия оператора или, например, когда у бота в API не было доступа к нужной части персональных данных клиента.
На старте бот передавал саппортам примерно половину сообщений.
Как только нейросеть начала отвечать самостоятельно, команда сильно переживала. Поэтому первое время менеджеры особенно пристально смотрели за оценкой клиентов.
Но радости не было предела: положительных оценок стало намного больше. Только за август их было 90%. Для сравнения: у сотрудников поддержки средний показатель — 88%.
Если на этапе MVP мы еще помогали оценивать ответы и исправлять ошибки нейросети, то на этапе продакшена команда Timeweb справлялась с обучением сама. Для этого, правда, понадобились отдельные сотрудники в команде, которым было интересно окунуться в мир нейросетей и погрузиться в работу с ботом на постоянной основе.
Wow-эффект
Бот работает. Реакции команды пока две: кайф и круто. Оказалось, что бот может идеально формулировать ответы и решать тикеты самостоятельно.
В Timeweb нейросеть покрывает 20,3% обращений в линии. В более чем половине случаев она самостоятельно отвечает на вопрос клиента, задает уточняющие вопросы, проводит базовый сбор информации и только потом переводит сообщение на человека. Если команда продолжит вкладываться в обучение бота, таких случаев будет всё меньше!
В Timeweb Сloud, которые запустили бота вторыми, нейросеть покрывает уже 10% обращений. Энтузиасты команды добавляют по новой тематике каждые несколько дней, чтобы догнать и обогнать коллег.
Бот значительно облегчает жизнь сотрудника поддержки. Приятный побочный эффект — внедрение нейросетей в поддержку здорово мотивировало команду. Все отметили, как приятно работать в компании, которая не боится использовать современные решения, пробует и развивается.
Неожиданно бот косвенно повлиял на качество ответов живых саппортов. Оказалось, что у него тоже есть чему поучиться. Например, красивым формулировкам и структурированным ответам :)
Советы тем, кто хочет так же
- Если вы сомневаетесь, можно ли сделать то, что вы хотите, изучите международный опыт. Посмотрите, как реализованы подобные кейсы у конкурентов. Если у кого-то есть что-то похожее, значит вы точно сможете сделать еще лучше, потому что будете делать это для себя!
- Перед тем, как приступить к созданию бота, создайте или актуализируйте базу знаний. У вас должны быть четко прописаны регламенты, как вы взаимодействуете с клиентом, как общаетесь и даже пишете ли Вы или вы.
- Используйте фактор сезонности на пользу себе: любое затишье повод навести порядок в Базе Знаний, а свободный ресурс разработчиков использовать на создание чего-то нового, что можно потестить в спокойном режиме.
- Бот ускорит и улучшит процессы, но точно не заменит человека полностью. Вам придется формировать команду, которая будет сопровождать бота с начала проекта. Бота всегда нужно будет обучать: «скармливать» ему обновленную информацию. Это работа должна стать процессом.
- Относиться к боту стоит как к ребенку, в которого нужно вкладывать много времени, сил, знаний, умений и любви. Но зато каждое его достижение станет для вас поводом для бесконечной гордости, а для клиентов — счастья.
Если хотите сделать также или еще круче — обращайтесь к нам. Поможем внедрить бота на основе LLM и поделимся экспертизой.
Пишите мне в телеграм @Ingalab или на почту inga@supprt.science.
Ребята, у вас с техподдержкой сейчас - полная катастрофа, а вы тут тексты про ИИ размещаете.
Мой клиент 2 (два) месяца просил перенести сайт на другой кластер - отклик сервера был от 5 до 30 секунд. Позавчера решилось, спасибо и на этом. И это за квартал какой уже случай.
Так нельзя.
Виктор, привет. Приносим извинения, что ждать пришлось дольше, чем рассчитывали. Но рады, что все-таки вопрос решился.
Мы знаем (по себе), что поддержка первая на очереди по раздаче за косяки. Но мы действительно внедрили классного бота на GPT и он помогает клиентам решать их вопросы (правда-правда). Например, чтобы такие сложные как у вас решались людьми в высоком приорите. Но косяки случаются у всех, и их мы тоже систематически решаем. Если пришлете информацию про сайт Даше d.voronova@timeweb.ru , мы разберемся в кейсе детально и поймем, что пошло не так в процедуре. И точно станем лучше!
Ну собственно и так было ясно, что пока все эти эксперименты с ИИ пока остаются экспериментами которые в ряде случаев даже приносят вред. Я думаю лучше не заниматься ерундой да и вообще дать работу живым людям чем все это...