Как в Альфа-Банке создали чат-бот, который понимает и отвечает, словно человек
Это был абсолютный тупик. Осенью 2021 года команда чат-бота пыталась найти решение: уже третий месяц автоматизация запросов клиентов в приложении Альфа-Банка и в мобильном банке Альфа-Онлайн плавала между 38-40% и никак не хотела повышаться. Вдобавок другие банки заняли весь пьедестал рейтинга Markswebb Chatbot Rank, в то время как наш чат-бот независимые эксперты поставили только на 7-е место. Всего за год игру удалось перевернуть: получить 55% автоматизации и абсолютное лидерство в рейтинге. Команды чат-бота и продвинутой аналитики рассказывают по шагам, как решали эту задачу.
1. Заменили иностранный движок на российский
До 2021 года движком чат-бота Альфа-Помощник был Google Dialogflow. У нас не было задачи создавать собственную модель искусственного интеллекта для анализа и обработки естественного языка, поэтому мы использовали проверенное решение. Алгоритмы Google Dialogflow умели работать с русским языком и речью, а политика кибербезопасности позволяла использовать облачные сервисы, вокруг которых надстроили микросервисную архитектуру. Это решение позволило поднять автоматизацию обработки запросов в чате до 38-40% при точности распознавания 90%.
Но для дальнейшего роста автоматизации пришлось искать другое решение. В конце 2021 мы провели исследование и выбрали компанию Just AI из Санкт-Петербурга. Альфа-Помощника перенесли на их решение JAICP, внутри которого есть свой NLP-движок (natural language processing — обработка естественного языка). Можно сказать, мы предвидели будущее: уже тогда использовали российское решение, хотя в тот момент никто и не думал об импортозамещении.
Параллельно мы развивали внутренние компетенции в Data Science и разработали несколько моделей для обработки информации и вывода ответов в чат-боте. В итоге в 2022 году автоматизацию удалось довести до 55%.
2. Улучшили понимание запросов пользователей
Обычно люди формулируют вопросы и намерения в виде реплик естественной, разговорной речи. Вот пример типичного звонка в контакт-центр: «Здравствуйте, подскажите, пожалуйста, я могу вот по телефону узнать сумму задолженности. Я так примерно знаю, но вот… Хотела… Не знаю там. Просто с сентября мы не платим и… ааа… считать сумму, которая мне приходит на ну в вот почтовый ящик или там какие-то проценты ещё бывают, не знаю».
Понять, о чём тут речь, довольно сложно. Можно выделить ряд ключевых слов: «сумма», «задолженность», «не платим», «проценты». И уже на их основе предположить, что нужна информация о просроченной задолженности по кредиту и начисленным процентам. Задача, которую пользователь формулирует в конкретной реплике, называется интент: «Я хочу узнать текущую сумму задолженности по кредиту с учётом просроченной выплаты и начисленных процентов». Чтобы обучить бот распознавать запросы, необходимо чётко сформулировать различия между интентами. Дата-сайентисты используют для этого кластеризацию запросов.
Ещё более простой и работающий подход — сформировать группу из специалистов контакт-центра и спросить, по каким вопросам чаще всего пишут люди. По сути это вариант анкетирования экспертов. Мы сделали и то, и другое.
3. Собрали команду асессоров и улучшили методологию разметки данных
Одни и те же данные всегда должны размечать несколько человек. Если это будет делать только один асессор, группы интентов окажутся очень «зашумленными» (это естественное следствие индивидуальных когнитивных искажений каждого человека), и алгоритмы будут их путать. Когда образец данных размечают несколько асессоров, точность разметки превышает 80%. Поэтому для разметки данных мы создали целое подразделение разметчиков, или асессоров.
Чтобы уменьшить число ошибок асессоров при разметке данных, команда дата-сайентистов решила проводить разметку иначе. При стандартном подходе разметчик должен ответить «Да» или «Нет» на вопрос: «Подходит ли интент к определённому классу?». Известно, что асессоры статистически чаще выбирают вариант «Да». В результате при обучении на таких данных алгоритм не сможет установить: «А не существует ли ещё более подходящий класс для такого интента?» Если вместо простого «да/нет» предложить асессорам выбрать «один вариант из нескольких альтернатив», то точность разметки повышается на 20-30%.
Кроме того, для упрощения процесса разметки дата-сайентисты внедрили нативную иерархию классов, которую уже используют в банке. Теперь любой вопрос пользователя можно связать либо с каким-то банковским продуктом (кредит, вклад, счёт и так далее), либо с каналом взаимодействия с банком (офис, мобильное приложение, прочее).
Также дата-сайентисты отказались от традиционных вариантов разметки в Excel и перевели весь процесс на open source решение Label Studio. Аналитики отбирают примеры, которые нужно разметить, и загружают туда задания для асессоров.Обучающая выборка бота состоит из 200 000 размеченных образцов данных — конкретных вопросов пользователей с установленным интентом. А количество интентов, которые алгоритмы чат-бота способны определить в реальном диалоге, выросло с 15 до 270, в ближайшее время их будет уже 350. Тогда как, например, в исследовании Markswebb задействовано только 50 наиболее популярных.
Раньше в тренировочных наборах данных для алгоритма было много простых примеров и мало сложных. Это приводило к тому, что на практике Альфа-Помощник мог ответить только на лёгкие вопросы. Теперь он понимает большинство запросов пользователей — даже многосоставных, включающих по две темы сразу. При этом точность распознавания запросов превышает 93%. То есть в 93 случаях из 100 алгоритм точно определяет суть запроса без дополнительных уточнений.
4. Стали использовать несколько моделей одновременно
Первая модель, которую мы задействуем в обработке запроса пользователей — стандартный классификатор. Он определяет по реплике ведущий интент. Вторая модель отвечает за подсказки (suggest): вы начинаете вводить запрос, а алгоритм предлагает одно или несколько возможных завершений фразы. Третья отвечает за «чипсы» — виджеты с типовыми запросами, которые появляются под репликой в чате, например: «Когда придёт кэшбэк» или «Пролонгация вклада».
Важно, что анализ контекстных интентов позволяет поддерживать сценарий диалога и не прерывать сессию, даже если человек отвлёкся и вышел из чата. Раньше взаимодействие всегда начиналось заново, что, конечно, раздражало людей, и они требовали сотрудника контакт-центра.
5. Предоставили полный сервис прямо внутри чат-бота
Альфа-Помощник больше не отправляет людей «гулять» по мобильному приложению, а решает все вопросы внутри диалога прямо в чате.
6. Стали внимательнее слушать людей
Последний, но не менее важный момент — мы активно используем обратную связь. Нет никакой другой количественной метрики для оценки эффективности чат-бота, кроме процента автоматизации запросов. Но также важно оценивать и реакции людей на общение с ботом, получать от них обратную связь и использовать эти данные для дальнейшего роста и развития. Отзывы и оценки помогают выделять дополнительные сложные интенты в запросах дорабатывать сценарии диалогов.
Чек-лист: как создать лучший в России чат-бот
Человеку неважно, кто дал ему информацию — чат-бот, голосовой помощник или специалист контакт-центра. Конечно, если полученный ответ правильный и полезный. Чтобы этого достичь, важно соблюдать следующие условия:
- Предоставлять всю информацию в точке касания с пользователем.
- Минимизировать действия по формированию запроса с помощью подсказок, виджетов или выбора вариантов.
- Поддерживать непрерывность сессии.
- Создавать позитивный клиентский опыт.
Главная метрика, по которой пользователи оценивают чат-ботов - это скорость, с которой он может позвать оператора. В этой гонке победит та компания, у которой чат-бот будет подключать оператора ещё до того, как клиент допечатает вопрос в чате.
Да хз, наткнулся на пост, где пишут, что в Альфе карты стали платными, решил проверить — задал вопрос в чат, тут же через секунду получил предметный ответ, конкретно по моему вопросу, конкретно по моим картам. Не согласен, что совсем уж бесполезная железка, которая нужна только ради перевода на оператора
Альфа-помощник представляется таким. С нфс кольцами еще.
А это старый, заржавел слегка
Любой чат бот по сути просто программа с быстрым поиском по вопросами и ответами из раздела справки. Какую-то осмысленную помощь он оказать не сможет, а справку можно и самому глянуть.
Комментарий удален модератором
Прямо сейчас бот уже отвечает на самые частые вопросы, но это не предел. Сейчас мы стараемся сделать так, чтобы помощник выполнял простейшие операции, к примеру, заказы справок или печать квитанций. Уверены, что в ближайшем будущем вас обязательно удивим 😉
Общался я с ним, но в итоге вызвал оператора)
Просто знайте, он не в обиде 😁 Если снова захотите пообщаться — велкам 🙌
Комментарий удален модератором
В целом я уже смирился, что сначала с ним нужно поговорить. Но все-таки человеки нравится больше. В отличии от многих, у вас они общаются хотя бы нормальным языком или хотя бы адекватными скриптами.
Если есть вопросы, которые может решить робот, то сначала даём шанс ему 😊 Переводим на оператора в том случае, если помощник понимает, что здесь он не справится, но с каждым днём дополняем его функции 💪
Боту всегда будет чему поучиться у человеков 🙌
Вроде хочется, чтобы было удобнее общаться с сервисами. Но при этом не хочется, чтобы боты заменили людей и устроили безработицу среду сотрудников чата/звонков.
P.S. Ваш нравится больше, чем Олег.
Роботы – это хорошо и мы с каждым днём улучшаем его, но всегда останутся операции, которые сможет решить только человеческий разум 🧠 Спасибо, что цените нас 🥰
Об этой поделке ещё хватает наглости писать хвалебные тексты...
Жаль, что отключили показ количества отрицательных отзывов, уверен, что их много
Отрицательные отзывы всегда есть и мы рады приветствовать критику. Благодаря таким отзывам понимаем, какие моменты стоит докрутить и исправить, чтобы улучшить нашего общего помощника 💪
Ужасный бот. Никогда не отвечает на поставленный вопрос, а оператора когда зовешь, они всегда заняты. За полгода ни разу не получилось в чате решить проблему.
Я бы тоже хотел использовать несколько моделей одновременно!
P.S. Моргенштейн у вас все еще работает?
У нас получилось — получится и у вас!
P.S. Уже не работает.
Прогресс в работе бота действительно заметен, так держать)
Спасибо! Дальше только лучше 🚀
По весне были проблемы с ботом - перекочевал в сообщество ВК для вопросов. Сейчас же бот начал переключать на сотрудника с первого раза, поудобнее стало. Но все равно есть над чем работать)
В этом и есть преимущество нового чат бота
Работаем без перерыва🛠
На самом деле, поддержка в Альфе настолько идиотская, что любой бот будет лучше них
Здравствуйте!
Обидно 😔
Напишите, пожалуйста, подробнее нам в личные сообщения о том, что произошло?
В 9 случаев из 10 чат бот не может ответить на мои вопросы.
Ну и еще до февраля, АльфаБанк не мог сделать так, чтобы когда оператор из поддержки отвечал - присылать пуш уведомление. А то ждешь по 20 минут ответа, тебе отвечают, пуш уведомления нет - заходишь чтобы ответить на вопрос оператора - а оператор уже убежал.
Если бот не сможет ответить на вопрос, переводит его на оператора.
Вчера на протяжении почти 6 часов, пыталась выяснить когда будет активирована согласованная банком услуга. Вопрос очень срочный.
В итоге: проблема не решена, куча стандартных отписок, куча навязанной рекламы под видом вариантов ответов.
Живой человек ответил бы за минуту.
Настолько простой вопрос.
По сути тренировала бота, а не решала проблему. И пусть вас не обманывают человеческие имена «разных операторов» - это бот. В большинстве ответов «операторов» чётко прослеживаются одинаковые скрипты.
Для ленивых - кому адрес или телефон ближайшего офиса спросить, бот сойдёт.
Для решения нормального вопроса - бот зло!
Ну и то, что живых «телефонных» операторов отключили - экономия на спичках.
Для себя решение приняла твёрдо - закрываю кредит и больше в альфа-банк ни ногой, 70% решения «заслуга» как раз поддержки.
Когда надо быстро решить простой вопрос, поддержка в альфе не работает.
Позор. Ещё хвастаться таким ботом🙈 А сам чат вовсе не чат. Как будто через почтового голубя общение...
Это он мне отвечает, когда я прошу войти в положение и рассмотреть возврат начисленных процентов по кредитке? Вышел за льготный период из-за задержки возврата денег от Аэрофлота и сразу получил 20 тыс. процентов за 100 дней льготного периода будто его и не было! Просто кошмар. В чате второй раз пишут, что понимают ситуацию и постараются помочь, но уже пришел первый имэйл с отказом идти на встречу. Кстати, иные банки намного лояльнее. Даже нефтегазовые. Планирую закрывать все вклады и счета у вас. На такое взаимодействие я не согласен.
Не понимаю почему тут к банку вопросы, это не он же возврат вам делал. Я бы в подобной ситуации даже с вклада бы деньги вывела, чтобы не платить проценты)
Здравствуйте!
Мы правда понимаем вашу ситуацию, но условия льготного периода прописаны договором.
Если не удаётся полностью погасить всю задолженность в рамках беспроцентного периода, то на следующий календарный день после его окончания к задолженности прибавляем проценты, начисленные на сумму задолженности за весь льготный период.
Рассчитываем ежедневный процент – ваша процентная ставка, делённая на количество дней в году. Ежедневный процент начисляем на сумму вашей задолженности, которая была в ту или иную дату.
Комментарий недоступен
А не проще было ли посадить 10 оператов на поддержку)
Комментарий удален модератором
Боимся, что для этого понадобится больше людей 🙂
Доверяем роботам там, где они давно справляются 🤖
То есть сейчас возможен подобный диалог?
- Здравствуйте! У Вас задолженность по кредиту просрочена, срочно заплатите 30 косарей.
- Знаешь, с работы уволили, денег не заплатили, машину разбил, дети болеют. Что ты, не человек что-ли?
- Да какие вопросы, мы тут в банке все понимаем, заплатите, как будет возможность, даже пени не будем насчитывать.
Ещё более простой способ - снять статистику по обращениям, будет более точно.
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Ваш звонок очень важен для нас.....
Спасибо за статью.
Персонально я в очередной раз понял что страдаю синдромом самозванца. Это проклятое чувство неуверенности, связанное с рабочими достижениями.
Я пожалуй напишу статью о том как можно построить службу поддержки из гавна и палок и лучше чем на dialogflow )
Еще раз спасибо за статью, много интересных деталей.
❤️
С помощью бота уже решал один вопрос, поэтому я доволен
И мы довольны, что смогли решить вопрос 🙌
Чем вы сейчас интересны среди конкурента?
Альфа Банк не возвращает мне кэшбэк. Делают вид, что я не перешла по ссылке. Хотя уже дали обещание ожидать выплату. Видимо не я одна такая. Возможно с пожилыми пользователями которые не разбираются, такое прокатит. Но эту кнопку перехода упустить невозможно! Как не стыдно? Куда смотрит руководство? Кто же зажал мой обещанный кэшбэк? Позор такому «банку»
Добрый день, Екатерина.
Напишите нам в личные сообщения, пожалуйста, ваши ФИО и дату рождения. Всё проверим.
Ох, нелегкая это работа
Банить за день трехсотого бота
не начисляют деньги по программе "Деньги Вам и Друзьям", вы мне должны 500р за то, что я карту забрал, и 1000р за привод друга
Здравствуйте, Марат!
Если условия выполнили, то деньги всегда начисляем во время.
Напишите нам в личные сообщения ваши ФИО и дату рождения, всё проверим.
Зато по телефону никто не отвечает, бот не дает нужной информации, на почте молчание
Это не бот, а днище - абсолютно тупой , более того теперь к оператору не пробиться. Исходя из этого принял решение закрыть карты - свое время дороже, как и нежелание мириться с низкокачественным сервисом, по-факту - его отсутствием
Роботу достаточно задать свой вопрос, от ответит сам или переведёт на оператора. Ежедневно он помогает решить десятки вопросов.
😂😂😂😂
Бот Альфа-Банка это один из самых тупых голосовых помощников на планете. С ним можно бесконечно играть в угадайку "какое слово я должен сказать, чтобы ты позволил мне поговорить с оператором?". Просто так он на оператора не переведёт. Говорить бесконечно слово "оператор" - не помогает.
А если ты в ответ на просьбу "назовите свой вопрос, чтобы я мог соединить вас с нужным специалистом" называешь свой вопрос, он начинает играть в оператора и заявляет "Я могу помочь не хуже оператора!". Да не можешь ты мне помочь не хуже оператора, тупая железяка!
С течением "разговора" он начинает категорично заявлять "Все операторы заняты", "Сейчас оператор не может ответить", как будто он мониторит всех операторов в реальном времени. При этом, стоит тебе в итоге подобрать, методом тыка, заветный пароль, как внезапно оказывается, что оператор таки существует, и может ответить, и этот ублюдок таки может с ним соединить.
Альфа, если вы хотите потерять меня, как многолетнего клиента - вы на верном пути.
Приветствуем!
Последнее время получаем много вопросов на горячей линии и в чате, поэтому ответ оператора приходится ждать дольше. Просим прощения, стараемся работать быстрее 😔
Как правило, достаточно полностью задать ваш вопрос боту, а уже после попросить перевести диалог на оператора.
Можете также задавать вопросы в соцсетях, где мы отвечаем круглосуточно. Не хотим терять вас 🙏