Как воспитать виртуального ассистента: опыт ДОМ.РФ
Всем привет! Меня зовут Вадим Чернышов, я занимаюсь развитием виртуального ассистента в Банке ДОМ.РФ и хочу поделиться с вами историей запуска этого продукта. В статье расскажу о том, какие лайфхаки помогли нам довести уровень автоматизации чат-бота на сайте до 40% за 3 месяца с момента запуска сервиса.
Виртуальный ассистент нужен нам для того, чтобы автоматизировать работу операторов контактного центра и дать клиентам возможность быстро и легко получать информацию без необходимости звонить в службу поддержки. Особенно это важно в моменты каких-то аномальных событий и пиковой нагрузки на колл-центр (КЦ).
В основе проекта - решение SmartBot Pro компании KTS. На момент старта это был конструктор сценариев для чат-ботов в VK, а в процессе внедрения команда продукта интегрировала чат-бота с нашей чат-платформой. Таким образом мы получили платформу с low-code интерфейсом, который позволяет быстро создавать новые сценарии без привлечения разработчиков и подконтрольно влиять на вероятность распознавания.
Один из главных показателей эффективности чат-бота – это уровень автоматизации, то есть доля диалогов, в которых чат-бот эффективно отвечает на вопрос пользователя без привлечения оператора КЦ. Как повлиять на уровень автоматизации? Вы можете улучшать две метрики: увеличивать количество сценариев (базу знаний чат-бота) и повышать точность выбора сценария под запрос клиента.
Полезные фичи, которые позволят влиять на основные метрики:
- Гибридный тип чат-бота означает, что сценарии его взаимодействия с клиентом жестко заданы в виде блок-схем, но при этом выбор подходящего сценария под запрос клиента осуществляется с помощью нейросети. Такой подход не требует от администратора прописывания всех вариантов запросов, которые может ввести клиент – нейросеть сама подберет наиболее похожий запрос из базы. С другой стороны, после определения сценария система позволяет предсказуемо вести пользователя “по скрипту”.
- Мы хотели дать пользователю возможность лучше ориентироваться в сценарном дереве и для этого добавили в окошко чата слайдер. В нем пользователь видит основные банковские продукты и блок FAQ, в котором собраны самые частотные запросы в голосовой КЦ. Порядка 10% всех успешных диалогов начинаются именно с того, что пользователи выбирают тематику через слайдер.
- Необходимый набор тематик для первоначального запуска можно сформулировать, проанализировав статистику по звонкам в КЦ и обращениям пользователей в текстовых каналах. Для упрощения этого процесса мы использовали модуль кластеризации, который помог сгруппировать архив запросов клиентов и выделить из них наиболее частые.
- Когда пользователь задаёт вопрос, система определяет его сходство с заложенными тематиками. Если совпадение выше 80%, сразу же происходит перемещение в сценарий. Если оно в диапазоне от 30% до 80%, то чат-бот предлагает пользователю на выбор ближайшие по смыслу тематики. Если вероятность совпадения ниже 30%, то в чат сразу же подключается оператор, а диалог помечается как нераспознанный и попадает в специальный раздел платформы. У сценариста есть удобный интерфейс, в котором он анализирует такие нераспознанные диалоги.
Ассистент понимает, что если пользователь задал конкретный вопрос, то его может заинтересовать дополнительная информация по данной тематике. Сценарное дерево организовано так, что пользователь получает ответ на свой запрос и “связанные статьи” - в них содержится информация, которой чаще всего интересуются пользователи вместе с основной тематикой.
Советы по развитию ассистента на первые месяцы после запуска:
- Ежедневно анализируйте все диалоги между пользователями и чат-ботом и ищите такие частотные вопросы пользователей, на которые чат-бот ещё не умеет отвечать.
- Подключайте к диалогу оператора сразу же, как об этом попросит пользователь. Или можно попросить пользователя переформулировать свой вопрос, но по нашему опыту это вызывает больше негатива.
- На этапе, когда распознавание ещё не развито до достаточного уровня, и система распознаёт запросы пользователей с низкой точностью, используйте уточняющие сценарии. Например, пользователь спрашивает, какие есть условия страхования, на что ассистент задаёт уточняющий вопрос: “Вас интересует страхование по кредиту или по ипотеке?”
- Придайте ассистенту эмпатии. Пользователи будут охотнее общаться с ассистентом и реже звать оператора. В этом помогут сценарии “болталки” – тематики, которые не относятся к банковским продуктам. По сценариям “болталки” пользователи обращаются в 5% запросах. Самые частотные обращения по темам “приветствие” и “прощание”, “ты человек или робот”, “что ты умеешь”. Весной часто задавали вопросы про Covid.
Даже если пользователь пришел в чат-бота, чтобы узнать погоду, возвращайте его в сценарии, связанные с банковскими тематиками. Используйте call-to-action и предлагайте пользователю узнать информацию по продуктам.
- Дайте пользователю возможность оценить каждый ответ чат-бота. Мы используем бинарную оценку “Отлично 🙂” или "Нет нужного ответа 🙁". Если пользователь даёт негативную оценку – к диалогу подключается оператор. Response rate - более 12%. Мы стремимся к тому, чтобы негативных оценок было не более 10% от числа всех оценок.
- Эффективной работой чат-бота мы считаем диалог, в котором было несколько запросов пользователей, на каждый запрос вероятность распознавания была выше 80%, при этом пользователь не звал оператора и не давал негативную обратную связь.
- Запускайте чат-бота в различных интерфейсах. Пользователь сам выберет, где ему комфортнее коммуницировать. Для нас запуск на сайте Банка - это тестовый полигон, где мы хотели отладить процессы работы со сценариями, интеграцию, быстродействие, распознавание и собрать первые итоги по экономической эффективности продукта. Уже этой осенью мы запустим чат-бота в Телеграме и на других сайтах группы компаний. А главная цель на 2023 - запуск в новом мобильном приложении Банка. Запускаем больше каналов -> получаем больший трафик в текстовых каналах, где стоимость обработки запроса дешевле по сравнению с голосовым каналом -> пользователи получают удобный интерфейс для взаимодействия и экономят время для решения своих вопросов, а операторы КЦ меньше занимаются рутиной и получают ресурс для решения каких-то более творческих задач.
Результат
Текущая эффективность чат-бота достигает на сайте Банка Дом.РФ 40%. Затраты на разработку и внедрение чат-бота очень быстро покрываются той выгодой, которую он приносит. Главное - выбрать современное технологическое решение и правильно организовать работу над развитием сценариев.
Создатели Smartbot Pro рассказали свою версию того, как проходила автоматизация запросов в банк ДОМ.РФ и поделились интересными подробностями реализации. Хотите узнать, что нужно, чтобы 7000 диалогов в месяц обрабатывались корректно? Тогда заходите почитать статью KTS.