Агент Эм. Как Модульбанк заменил часть сотрудников на нейронную сеть

Познакомьтесь с Эм. Эта старательная и улыбчивая девушка в очках пришла на работу в Модульбанк чуть меньше года назад. За это время она решила около 17 000 запросов в службу поддержки. Сейчас она принимает каждый четвёртый вопрос от клиентов, половину из них решает сама, в остальных случаях зовет на помощь коллег. Эм — это нейронная сеть, и она уже проявила себя как персонаж с характером.

А начиналось всё с обычного чат-бота со всплывающими подсказками. Совладелец Модульбанка Андрей Петров рассказал об эволюции Эм, трудностях обучения нейросетей и о том, почему некоторых клиентов раздражают роботы.

Я знаю, что развитие робототехники и возрастающие возможности искусственного интеллекта вызывают неоднозначную реакцию у людей. Кто-то боится, что машины поработят человечество. Кто-то, напротив, верит в то, что машины будут обслуживать человека и обеспечат нам рай на земле. Я не сторонник ни того, ни другого лагеря.

Развитие событий показывает, что в недалёком будущем нам следует ожидать, скорее, симбиоза и даже комбинации органических и неорганических систем. Что это означает для нашей компании? Всё очень просто.

За четыре года быстрого роста мы в Модульбанке пришли к тому, что дальше не можем себе позволить просто нанимать ещё больше людей для поддержки наших клиентов. Во-первых, это приводит к быстрому росту издержек на персонал, что критично для цифрового сервиса. Во-вторых, даже наша продвинутая система подготовки новых сотрудников не позволяет уверенно держать качество поддержки. Люди, перегруженные рутиной, медленно реагируют на вопросы клиентов, ошибаются и/или не соблюдают фирменные стандарты общения с клиентом.

Идею замещения людей машинами (чат-ботами), о которой так активно пишут в СМИ в последние годы, мы не рассматривали всерьёз. Для нас очевидно, что это просто не нужно - долго, дорого, сомнительно. Так что мы пошли по пути симбиоза бизнес-ассистентов и машины.

Сегодня наша Эм самостоятельно решает «рутинные» вопросы клиентов (типа «как сделать», «где найти» и т.п.), умеет выяснить некоторые дополнительные подробности, которые необходимы для решения вопроса человеком. А еще она хранит весь наш накопленный опыт и подсказывает бизнес-ассистентам варианты ответов в той или иной ситуации. Так что в симбиозе с Эм наши сотрудники поддержки постепенно эволюционируют в супер-сотрудников, умеющих быстро и эффективно решать огромное количество задач.

А теперь обо всем по-порядку...

К концу 2016 года стоимость решения одного обращения клиента в поддержку у нас составляла 150 рублей. За 20 минут мы решали не более 30% вопросов клиентов. Картинка не очень, правда? Конечно, на тот момент мы уже активно следили за развитием чат-ботов и успехами нейросетей, но настроены были осторожно.

В 2016 году мы пробовали применить несколько решений, которые предлагал рынок. Мы специальным образом подготовили базу наших диалогов с клиентами за целый год. А команды, продающие своих умных ботов, пытались на этих данных решить задачи их классификации и построить чат-бота, который сумел бы адекватно отвечать хотя бы на простейшие вопросы.

За целый год, перепробовав несколько решений, мы получили результаты, которые были скорее смешными, чем обнадёживающими. Как это часто бывает, мы решили заняться этим самостоятельно. Так что весной 2017 года мы собрали очень небольшую команду математиков на базе нашего Центра разработки в Уфе и начали работу.

Две трети запросов клиентов в чат Модульбанка достаточно просты. Это типовые вопросы: как сделать платеж, какой у меня тариф, как его поменять и так далее. Остальные вопросы — так называемые «жёсткие» задачи, поручения, просьбы разобраться с нестандартной ситуацией. Мы сфокусировались на вопросах первого типа.

Первая задача, которую надо было решить — научить бота (у него тогда не было имени) определять тип запроса в чате. Для этого мы собрали всю базу запросов в службу поддержки, которая скопилась за 2,5 года работы с момента основания банка— около 400 тысяч обращений. Обработали её с помощью математической модели, структурировали, выделили ключевые слова и научили бота на них реагировать.

В июне 2017 года появилась первая версия нашего бота. Конечно, это был не искусственный интеллект — скорее, предиктивный алгоритм, который определял, какой ответ из базы знаний наиболее подходящий в каждом конкретном случае. Алгоритм работал как подсказки в строке поиска Google — реагировал на ключевые слова и предлагал клиенту выбрать, на какой вопрос он хочет получить ответ.

Несмотря на наши усилия и, как нам казалось, удобный интерфейс взаимодействия (подсказки в чате), клиенты им пользовались очень и очень редко. Мы работали над точностью подсказок, тестировали и снова работали, пока не пришли к выводу, что без улучшения алгоритма «понимания» сути вопроса мы не добьёмся значимых результатов.

В феврале 2018 года мы вывели на линию обновленного бота. Он умел определять отдельные ключевые слова в запросах, ориентировался в многозначных терминах, подбирал оптимальные, на его статистический взгляд, ответы из базы. Но несмотря на обновление «мозгов» нашего бота, точность все ещё была довольно низкой — фактически он отвечал на один вопрос из четырёх, и то неточно. Если бы мы в произвольном порядке выдавали клиенту ответы на вопросы, показатели были бы сопоставимы. Результат был плохим.

Конечно, мы пробовали разные способы повышения точности ответов. Например, стали учитывать профиль клиента и его банковскую историю — какой у него тариф, какие подключены опции и услуги, есть ли на счёте деньги и так далее. Или меняли алгоритм общения в чате. Бот задавал клиенту уточняющие вопросы,чтобы доводить запрос до бинарных вариантов ответа.

Например, он спрашивал: «Правильно я понимаю , что вы хотите узнать, как перевести деньги между счетами?». Получал в ответ «да» или «нет». И дальше продолжал уточнять или отправлял клиенту инструкцию. В итоге эта функция лишь увеличила количество клиентов, недовольных ответом. Долгие переписки с роботом и тупые уточнения утомляли и раздражали клиентов и они нажимали «дизлайк», чтобы позвать в чат человека.

Наши усилия принципиально не изменили расклада - бот реагировал на четверть вопросов, правильно отвечал на 30% из них и продолжал расстраивать клиентов.

В любом развитом языке используются сотни миллионов словоформ. Количество возможных рекомбинаций слов и выражений составляет примерно 10 в 140 степени вариантов. Например, существует позиционная рекомбинация, когда слова могут быть переставлены местами, часть слов в вопросе может отсутствовать или, наоборот, в нем может присутствовать жаргон.

А еще есть контекстуальная, словообразовательная, синонимическая, тропная рекомбинации... И как машине понять всё это? Что означают выражения «вся школа высыпала на улицу», «бывший работник» или «малиновый звон»? Не удивительно, что наших клиентов бесил наш первый бот: они были просто не способны понять друг друга.

В начале весны 2018 года в результате цепочки событий мы познакомились с командой ОКАС - «Объединение когнитивных ассоциативных систем». Компанию основал бывший проректор Тюменского госуниверситета Вадим Филиппов. Уже много лет они работают над созданием искусственных когнитивных систем, в основе которых лежат уникальные архитектуры кортикоморфных нейронных сетей.

Если проще, то это нейросеть, построенная на принципах работы кортикальных колонок и коры головного мозга. Кстати, если вы ещё не видели цифровой модели человеческого мозга, включая нейроны, синапсы и все остальное, то это стоит сделать.

К лету 2018 года вместе с командой ОКАС мы полностью заменили мозги нашему старому боту. Получился впечатляющий ансамбль нейросетей разного типа, выполняющих разные задачи. Сначала поступающие от клиентов высказывания проходят предобработку на основе нейронных сетей и систем машинного обучения.

Они фильтруют выражения, не относящиеся к целевой тематике, вычленяют жаргон, исправляют допущенные опечатки. Основу бота образует ансамбль из большого числа конволюционных, рекуррентных, LSTM и других нейронных сетей, которые обрабатывают различные признаки высказывания и совместно определяют правильный окончательный ответ.

Кстати, у нашего бота целых два мозга. Второй нейросетевой ансамбль проходит ежедневное обучение на основе вновь поступающих высказываний пользователей. Если он показывает лучшие результаты после обучения, чем существующий нейросетевой ансамбль, то допускается до работы с клиентами. Для обучения нейросетей и представления смыслового содержания текста предварительно были построены многомерные векторные пространства, определяющие соотношения между символами, морфемами, словами и фразами.

Все эти сложные алгоритмы живут на графическом суперкомпьютере производительностью 42 терафлопса, так что наша машина может общаться одновременно с тысячами клиентов через их личные кабинеты в Модульбанке.

Сегодня машина может с высокой точностью отвечать на 261 тип часто задаваемых вопросов, давать ответы на вопросы персонального характера и решать частные задачи. Например, она быстро выяснит ситуацию с отправленным или ожидаемым платежом, переспросит нужную информацию, если клиент забыл её указать. Она помнит историю взаимодействия с клиентом, учитывает контекст диалога. Она устойчива к опечаткам, в общении с ней можно использовать различные слова и грамматические конструкции. Она отсеивает троллинг, всякую чепуху и пока отсеивает оффтопик.

Первое время после кардинального обновления мозгов нашего бота количество дизлайков, которые клиенты ставили ему в чате, оставалось большим - несмотря на рост количества правильных ответов. Мы долго ломали голову, почему так происходит, ведь ответ клиенту был дан верно. Оказалось, что значительная часть клиентов, которые ставят нам дизлайки, делают это просто потому, что не хотят общаться с роботом.

Многим известно понятие «зловещей долины» - когда робот или машина, выглядящий или действующий примерно как человек, вызывает неприязнь и отвращение у людей. При этом отвращение и страх тем выше, чем «похожее» робот на человека. Учёные до сих пор не могут толком обьяснить этот феномен. Несмотря на то, что обычно «зловещая долина» - это реакция именно на внешний вид робота, нам кажется, что нечто подобное получается и при общении с роботом в чате.

Тогда мы решили что должны «оживить» нашего робота, чтобы он вызывал нейтральные, а лучше позитивные эмоции у клиентов. Так родилась Эм.

Это не просто вежливый чат-бот, а персонаж — милая и старательная девушка в очках, как у Гарри Поттера. У неё есть характер, и у неё есть своя история. Как и любой бизнес-ассистент, Эм пришла в команду абсолютным новичком. Она не знала, что такое банковский продукт, как устроена платформа, какие вопросы обычно задают клиенты, как на них отвечать, где искать информацию и так далее.

Мы сделали для Эм карту навыков. Фактически это её карьерный план — перечень знаний, которые должны быть у бизнес-ассистента девяностого уровня. В первую очередь, это глубокие знания по продуктам, опциям, услугам и так далее. В том числе ей предстоит научиться красиво формулировать свои мысли, быстро давать точные и вежливые ответы, шутить и извиняться за свои ошибки.

Кроме того, Эм учится понимать эмоциональное состояние клиента — видеть его настроение по тому, как и о чем он нам пишет. У нас уже реализована похожая функция — бизнес-ассистент видит значок, который показывает, в каком настроении клиент чаще всего общается со службой поддержки или как наши ответы влияют на его настроение. Пока алгоритм совсем базовый, но у нас есть идеи как его улучшить. Так что скоро Эм будет проявлять эмпатию.

Сегодня Эм исполнилось четыре месяца и она уже работает за семерых. Она реагирует примерно на 25% диалогов и правильно отвечает на каждый второй вопрос. Эм старается быть хорошей девочкой, получать новые знания, исполнять простые просьбы и поручения, понимать эмоции и вообще вести себя по-человечески.

Если у вас уже созрел вопрос о судьбе тех бизнес-ассистентов, труд которых стал не нужен благодаря Эм, то я вас успокою. В штатном расписании Модульбанка теперь есть новая команда, которая отвечает за развитие Эм. Так что бывшие бизнес-ассистенты осваивают профессии будущего - специалист по робоэтике, робокоуч и так далее.

В ближайшие годы мы с Эм планируем научиться самостоятельно решать две трети вопросов и поручений клиентов через чат и даже телефон, освоить новые для неё профессии в продажах, бухгалтерии и онлайн-кассах. А еще мы хотим проникнуть в домашние умные колонки, чтобы наши клиенты, просыпаясь утром, могли спросить: «Привет, Эм! Я уже заработал себе на бутерброд с икрой?»