Как с нуля создать и запустить чат-бота для клиентов: опыт банка «Хоум Кредит»

Нравятся ли людям роботы, почему нельзя тестировать ботов на сотрудниках и как оценивать результативность цифровых консультантов.

Привет! Меня зовут Наталия Бибетко, я начальник управления автоматизации сервисного обслуживания банка «Хоум Кредит». Три года назад, вдохновившись успехом Siri, Alexa и «Алисы», в банке дали «зелёный свет» эксперименту по разработке собственного виртуального помощника. Сейчас у нас работают два бота: «Хоум-бот» в чате (в приложении и на сайте) и голосовой помощник «Мария» (на входящих и исходящих звонках). Вместе они отвечают на половину обращений клиентов и продают новые продукты. В этой статье я расскажу, как мы создавали «Хоум-бота», с чем столкнулись в процессе запуска и какие выводы сделали.

Accenture прогнозирует увеличение рынка чат-ботов на 30% ежегодно в течение трёх лет — на 400–600 млн рублей в год, а исследования BCG говорят о том, что 87% клиентов общаются с банком через цифровые каналы.

В начале 2018 года мы относились к запуску чат-бота по-другому. Во-первых, сомневались в выгоде: разработка и поддержка ботов требует больших затрат, но как скоро они окупятся? Во-вторых, переживали за качество сервиса. Сомнения подкреплялись и тем, что в то время на российском рынке было сложно найти качественных и продвинутых чат-ботов.

В то время около 20% всех запросов поступали в банк через чаты на сайте и в мобильном приложении. Но мы заметили, что сообщений в чате постепенно становилось больше, чем обращений по телефону.

Первую версию чат-бота команда программистов разработала «на коленке». Версия оказалась рабочей, поэтому проект расширили: увеличили команду, привлекли внешнего специалиста по data science для разработки AI.

Мы с самого начала решили не покупать стороннее решение: хотели создать всё сами. Идеальных решений в то время на рынке не было.

Работа над ботом заняла у нас полгода. Мы подготовили 150 тем с популярными запросами от клиентов с базой знаний на 6,5 тысячи фраз. Перед первым запуском решили протестировать бота на коллегах. Это стало нашей первой ошибкой. Сотрудники банка задавали каверзные и нетипичные вопросы — таких обращений от клиентов не было или были единицы, и их всегда решали операторы. На этом этапе бот показал низкую эффективность, и мы даже думали отложить запуск. Но, сверив темы с массовыми клиентскими запросами ещё раз, приняли решение запускаться.

На старте мы переживали, что люди не захотят разговаривать с виртуальным помощником и будут требовать переключить их на оператора. В реальности так делали только 25% (сейчас ещё меньше — 15–20%), и в основном это были нестандартные запросы, например обращения по подозрению на мошеннические операции, изменения персональных данных и подобные. У нас такие случаи всегда берут на себя операторы. При этом большая часть клиентов охотно общалась с ботом: с ним здоровались, благодарили, хвалили за хорошую работу.

Это объяснимо: даже в периоды пиковых нагрузок (около 1,5 тысячи одномоментных сессий) чат-бот отвечает гораздо быстрее консультанта — всего за 1–3 секунды. Клиенты это оценили: не нужно ждать оператора на линии, если можно моментально получить ответ на вопрос вроде «где найти тарифы по продукту» или «как узнать реквизиты для оплаты кредита».

На старте было много споров. Что такое оценка качества работы бота? Какие метрики и KPI использовать, как часто их замерять? Эффективно ли проверять бота вручную, кому доверить контроль? Что делать с результатами? Будет ли конец у отладки работы ИИ или это постоянный процесс? Сколько дополнительных ресурсов придется привлечь и какой эффект это даст?

Постепенно мы находили на них ответы: выстраивали процесс оценки качества, вносили изменения в работу моделей ИИ, искали лучшие практики, оптимизировали текущие базы знаний.

Начали с фиксации показателей AS-IS и установили KPI для их улучшения, скорректировали SCORE-баллы на текущих моделях. В моменте это привело к сокращению доли автоматизации до 17% (с 25—30%), но при этом стало отправной точкой для роста и улучшения качества ответов с 56 до 80% в 2019 году.

Если коротко резюмировать наши «уроки»:

Оценка качества диалогов и анализ комментариев клиентов в приложении помогают находить пробелы в знаниях бота и идеи для новых сценариев. Например, так мы нашли и добавили новые тематики: как посмотреть MCC-код по платежу, оплатить покупку в интернете с неименной карты, узнать лимиты на перевод и другие.

Все эти действия помогли нам значительно улучшить бота. Во-первых, выросло качество его ответов. На старте измерений в середине 2019 года оно составляло 56%, к концу 2019 года выросло до 84%, к концу 2020 года — до 90%, а с марта 2021-го стабильно держится на уровне 94—95%.

Но самое главное — доля полностью решенных запросов в чате поднялась с 17% в середине 2019 года до 58% в 2021 году. FCR у нас не опускается ниже 76—80%.

Радует и показатель tNPS. Опросы показывают, что клиенты довольны качеством ответов и в 80—86% случаев порекомендовали бы банк своим друзьям и знакомым после консультации с ботом.

Сотрудники тоже оценили бота. У операторов появилось больше времени для работы со сложными, нестандартными обращениями. Каждый месяц бот обрабатывает сотни тысяч рутинных запросов — для их решения потребовался бы целый колл-центр примерно из 200 человек.

База бота также растет: количество тем увеличилось со 150 в 2019 году до более 700 в 2021 году, а база знаний разрослась с 6,5 тысячи до 150 тысяч фраз.

Настоящим испытанием для чат-бота стала пандемия: на него обрушился шквал вопросов по актуальной повестке. Несмотря на специфичность запросов, доля успешно решенных обращений не только не упала, а, наоборот, выросла до 60%. Конечно, команде пришлось ему здорово помочь: мы следили за информацией о кредитных каникулах и отсрочках платежей и в течение нескольких часов (иногда ночью и в выходные) запускали новые сценарии.

Самыми сильными сторонами «Хоум-бота» я бы назвала интеграционность и самостоятельность. Что это означает?

• Он умеет работать не только с простыми запросами, которые решаются в одно касание, но и самостоятельно ведет диалог по сложным сценариям. Например, у нас есть тема, где вариативность веток доходит до 85 (то есть 85 разных сценариев продолжения разговора)! А результаты диалога чат-бот записывает в системы банка сам, без дополнительных проверок сотрудников.
• Бот умеет использовать информацию из разных систем банка и вносить в них изменения: проставлять признаки по итогам диалогов, фиксировать результаты, формировать справки и выписки, получать и озвучивать данные по сумме задолженности, параметрам платежа, статусу обращений. Даже сейчас в 2021 году нечасто можно встретить чат-бота, который работает с интеграционными сценариями. Мало кто доверяет им вносить данные в системы, как правило, компании ограничиваются общими словами и правилами.
• В рамках одной беседы бот обрабатывает вопросы из разных тем, понимает контекст и продолжает диалог, даже если клиент прервал его и вернулся, когда сессия была закрыта.
• Наш бот-консультант нацелен в первую очередь на решение вопросов клиентов. Мы регулярно дорабатываем и совершенствуем модели AI, чтобы он был действительно полезным. Подтверждение этому мы регулярно находим в оценках пользователей и в высоком показателе FCR.

Сейчас банк активно запускает новые продукты, акции, услуги. Также появляются новые запросы и формулировки от клиентов, меняется стиль общения, язык пользователей — все это нужно вовремя улавливать и обучать бота. Наша команда добавляет новые сценарие в бота за 2–3 часа.

Люди, которые много чатятся в мессенджерах, привыкают отправлять короткие сообщения в духе: «Привет», «Есть вопрос», «Какой след платеж по кредиту» (в трёх разных сообщениях, хотя вопрос по сути один). Нам пришлось научить бота «склеивать» такие запросы и отвечать не на каждое сообщение отдельно, а комплексно.

Кроме того, мы постоянно тестируем новые технологии и сервисы. Например, в этом году начали работать с командой разработчиков RPA-ботов и уже активно используем их возможности в консультации клиентов. Ещё интегрировались с системой приёма обращений от клиентов, работаем над А/В-тестированием, асинхронным анализом данных, предиктивным анализом поведения клиента, запускаем распознавание документов, делаем рефакторинг, обновляем и тестируем новые ансамбли моделей и многое другое.

Убедившись в том, что качество ответов стабильно и держится на высоком уровне, в этом году мы решили поэкспериментировать: реализовали несколько сценариев с консультациями и оформлением банковских продуктов онлайн. Бот в чате рассказывает клиенту о предварительно одобренных предложениях (если предложений у клиента нет, то бот рассказывает о новых продуктах, которые могут его заинтересовать), их преимуществах, и отправляет ссылку на онлайн-заявку для оформления. Гипотеза о том, что бот может продавать продукты и услуги банка, оказалась рабочей: например, в августе — сентябре 2021 года он самостоятельно, без привлечения сотрудников, продал продуктов на сумму более 155 млн рублей.

Клиенты становятся более требовательными к качеству обслуживания. Банкам нужно постоянно развиваться, предвосхищать запросы клиентов и оперативно их решать. Информационные технологии и командная работа помогают нам успешно справляться с вызовами рынка. Эволюция нашего виртуального сотрудника продолжается.

Команда, которая работает над ботами, — люди из разных городов: Москвы, Томска, Обнинска, Ижевска, Воронежа, Белгорода.

• В долгосрочной перспективе собственная разработка чат-бота чаще оказывается выгоднее «покупного» решения, сотрудники могут быстрее вносить изменения в процесс и модифицировать систему под собственные нужды.
• В процессе тестирования на старте проекта ориентируйтесь на массовые запросы клиентов, а не сотрудников.
• Обязательно разработайте систему оценки качества бота, проводите регулярные замеры и в зависимости от результатов корректируйте работу (работа с качеством будет занимать около 30% всего времени команды, а в первое время — гораздо больше, это нормально).
• Вычитку и разметку качества диалогов должно проводить независимое подразделение.
• Экспериментируйте с моделями для обучения AI, рискуйте, пробуйте новое — часто «выстреливают» совсем неочевидные на первый взгляд вещи.
• Создавайте ботов, которые понимают любые запросы клиентов, которым не нужны «подсказки» и «правила задавания вопросов». Чем «человечнее» будет ваш виртуальный помощник, тем приятнее клиентам будет с ним общаться и тем меньше запросов «переведи на оператора» вы будете встречать в самом начале диалога.
• Успех запуска и работы бота в 80% состоит из слаженной и дружной работы команды. Поддерживайте, вдохновляйте, доверяйте больше, и результат не заставит себя ждать.

Остались вопросы о запуске и работе бота? Пишите их в комментариях под этой статьей.