{"id":13473,"url":"\/distributions\/13473\/click?bit=1&hash=0230b2c9c1795327978777f68c1836f3d5cbb11c39f14294a4fd37999e00f14c","title":"\u041a\u0430\u043a Tele2 \u0441\u0434\u0435\u043b\u0430\u043b \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u043d\u0435\u0438\u0441\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430","buttonText":"","imageUuid":"","isPaidAndBannersEnabled":false}
Трибуна
Just AI

Как устроен голосовой ассистент Альфа-Банка: chit-chat от Just AI, синтез речи от Yandex.Cloud и голос Брэда Питта

В конце 2021 года Альфа-Банк запустил на клиентов голосового финансового помощника Альфа. Вместе с питерской командой Цифрового бизнеса Альфа-Банка над Альфом работали два ключевых партнера и один известный актер.

На технологиях Just AI созданы интеллект и внутренняя логика ассистента, продукты Yandex.Cloud отвечают за синтез голоса и распознавание речи, а озвучил Альфа актер Всеволод Кузнецов — голос Брэда Питта, Киану Ривза, Ведьмака и Волан-де-Морта.

Рассказываем, что за технологии под капотом у ассистента Альфа и с какими челленджами столкнулись его разработчики.

Зачем вообще банку голосовой ассистент

Самой крупной целевой аудиторией современных банков становятся миллениалы и поколение Z, которые предпочитают взаимодействие с сервисами через цифровые каналы. Например, по оценкам Business Insider Intelligence, 78% миллениалов не пойдут в отделение банка, если могут вместо этого воспользоваться digital-сервисом

Конкурируя за эту аудиторию, банки ищут способы персонализации клиентского опыта в мобильных приложениях с помощью ИИ, стараясь сделать этот опыт привлекательным и уникальным. Альфа-Банк, создавая своего голосового ассистента, одновременно следует тренду и задает его – другие российские банки, глядя на пример Альфа, тоже смотрят в эту сторону.

Кирилл Петров
CEO Just AI

Своих собственных голосовых помощников создали Bank of America (Erica), Capital One (Eno), ICICI Bank (iPal). В России первыми голосовых ассистентов запустили Тинькофф, Сбер и Альфа-Банк — в ноябре 2021 года ассистент Альф стал доступен всем клиентам Альфа-Банка.

Создатели Альфа убеждены в том, что голосовой помощник, интегрированный в онлайн-банкинг, способен по-настоящему «оживить» и гуманизировать банковских роботов. Эта идея – развитие концепции Phygital, сервиса и коммуникаций на стыке цифрового и физического пространств.

Еще в самом начале работы, в период формирования продуктового вижена, мы однозначно решили, что Альф будет специализированным финансовым помощником, то есть не будет распыляться на «суперспособности» в непрофильных для него областях. В основе нашего продукта – именно банковский функционал, взаимодействие клиента с мобильным приложением через естественную речь.

Владимир Китляр

Лидер команды Alfa Digital в Санкт-Петербурге

Голос как основа личности

В основе виртуальной личности Альфа – собирательный образ на базе культурного архетипа «умный дворецкий» (отсылающего к таким персонажам, как Дживс из «Дживс и Вустер» или Альфред Пенниуорт из «Бэтмена»). Этот образ и определял характер, манеры, юмор, голос помощника.

Альф не антропоморфен, но гуманистичен: при разговоре с Альфом ваше воображение, опираясь на знакомые культурные референсы и тональность разговора, само нарисует портрет приятного собеседника и верного помощника.

Огромную роль в процессе гуманизации Альфа сыграл конкретный голос, а точнее — синтез речи, обладающий чертами характера заданного персонажа. Для разработки голоса Альфа был проведен кастинг среди топовых звезд индустрии кинодубляжа и озвучки игр.

В результате был выбран известный актер Всеволод Кузнецов – официальный голос Киану Ривза, Брэда Питта, знакомый многим по озвучке Волан-де-Морта в фильмах про «Гарри Поттера» или Ведьмака в одноименной игре.

Как рассказал сам Всеволод Кузнецов, для актера работа над синтезом голоса – не самая простая задача. В течение многих часов в студии ему приходилось зачитывать огромные массивы текста. Причем, в отличие от традиционно актерской работы, это был не связанный сюжетом текст – для машинного обучения важно, чтобы датасет был разнообразным.

Всеволод начитывал отрывки из классики, профессиональной литературы, новости, тексты на финансовую тематику, фрагменты без начала и конца. Причем в независимости от содержания и смысла читать нужно было, выдерживая образ и тональность персонажа.

Всеволод Кузнецов приводит пример сложного контента для начитки

Помимо голоса на гуманизацию ассистента особенно влияет юмор. Команда Альфа даже проводила исследование среди пользователей мобильного банкинга – как воспринимается юмор в контексте взаимодействия с банком, и 95% респондентов ответили, что юмор уместен.

Даже в рутинных сценариях вроде проверки задолженности по кредиту чувство юмора ассистента позволяет выравнивать эмоциональный фон диалога, делать его непринужденным и дружелюбным.

Но наделить виртуального ассистента юмором было отдельным челленджем: ведь нужно не только продумать контент (здесь помог коллаб с одним из культовых иронических пабликов Рунета «SlovoDna» Кирилла Караваева), но и выдерживать tone-of-voice банка и требования редполитики, сочетая юмор с образом помощника.

Альф шутит

Синтез голоса Альфа был создан в партнерстве с командой Yandex.Cloud. Благодаря опыту Yandex.Cloud в сфере прикладного машинного обучения и речевых технологий, Альф звучит и разговаривает практически неотличимо от человека. При этом применение облачных технологий в разработке Альфа — один из редких кейсов использования облаков в финансовой отрасли.

Есть предубеждение, что банковские продукты и облака несовместимы – например, считается, что они менее надежные, чем разработка on-premise. Как показал опыт запуска Альфа, облачные сервисы отлично решают проблему турбулентности трафика, с которой сталкиваются риалтаймовые продукты (а ассистент работает в режиме реального времени), и помогают нивелировать влияние на продукт пиковых нагрузок.

Пример турбулентного трафика после вывода в прод

Интеллект и логика на JAICP и CAILA

«Альф получился отличным финансовым ассистентом, у которого помимо функциональных навыков здорово реализована важнейшая сторона голосовых помощников: установление эмоциональной связи с брендом с помощью тщательно подобранного голоса, характера, образа и визуала.

Но для AI-продукта характер персонажа, его интеллект и логика взаимодействия с пользователем – это вполне конкретные технологии: за понимание естественного языка и управление диалогом в Альфе отвечает платформа Just AI Conversational Platform, за так называемую «болталку», функционал chit-chat – то есть способность ассистента свободно поддерживать разговор – NLU-сервис CAILA», – говорит Кирилл Петров.

Chit-chat – одна из самых челленджевых частей AI-ассистента с точки зрения искусственного интеллекта. Конечно, голосовой помощник обладает набором навыков, по сути, дублирующим функции мобильного приложения, – есть понятный CJM (customer journey map), который разработчикам нужно переложить на разговорный интерфейс. «Болталка» же – это определенный вызов, ведь такого рода коммуникации с клиентами у банка не было, а прописать по пунктам логику и четкое ТЗ, как именно должен работать chit-chat, невозможно.

«Болталка» для бизнес-ассистента – это довольно новая история. На российском рынке пока не так много компаний, которые подступились к этой задаче и реализовали ее в продукте. У Альфа-Банка был топ частотных вопросов про офтопик, не относящихся к банковской тематике, – их копирайтер придумывал ответы на эти вопросы в духе персонажа дворецкого. Потом стало ясно, что несколько десятков вопросов не покрывают всех возможных вариантов.

Иван Голубев
Руководитель проектов Just AI в области голосовых ассистентов

Just AI расширили список вопросов до нескольких сотен и привлекли к задаче участников Яндекс.Толоки – ребята придумывали вопросы, парафразы, формулировки, а мы по ним готовили ответы. Так сформировался качественный датасет, который был загружен в NLU-сервис CAILA.

Сейчас chit-chat Альфа – это три эшелона обработки пользовательских запросов, полторы тысячи интентов в CAILA с десятком вариантов формулировок и несколькими вариантами ответов на каждую из них, а также специально разработанная ретривинг-модель, способная сопоставить заданный пользователем вопрос с десятками тысяч вопросов и ответов из датасета, сказать, с какой вероятностью ответ может подойти, и выдать наиболее подходящий вариант.

Голосовой ассистент в мобильном приложении

Голосовой помощник Альф работает в авторизованной зоне мобильном приложении банка. Еще до пандемии мобильным приложением Альфа-Банка активно пользовались более 80% клиентов. Поэтому команда банка выбрала его как первую платформу для запуска ассистента – в приложении много пользователей, сценарий коммуникации понятен и удобен для переноса в разговорный интерфейс.

Чтобы весь конструктор разговорных технологий – ASR/TTS от Яндекса, диалоговая система и NLU от Just AI – заработал в телефоне, было нужно подходящее решение для интеграции с мобильными поверхностями. Альфа-Банк выбрал Aimybox – SDK для in-app ассистентов от Just AI, в котором определена логика взаимодействия технологических компонентов разговорного решения.

«Вряд ли в цифровой отрасли найдется более сложное по функционалу приложение, чем мобильный банк. Иногда клиенту бывает сложно быстро найти определенную функцию в приложении, особенно если она редко используется. Альф эту задачу вполне решает – клиент может с помощью голоса, на привычном ему естественном языке «телепортироваться» в нужную функциональность мобильного банка», – отмечает Владимир Китляр.

Как Альф засветился в «Вечернем Урганте»

Что умеет Альф

Альф уже обладает целым пулом финансовых навыков. Он хорошо ориентируется в финансовых продуктах пользователя и быстро ответит на вопросы о балансе на счетах, задолженности по кредитной карте, сумме ближайшего платежа по кредиту или состоянию дел по ипотеке. При этом работа по развитию продолжается постоянно, буквально каждый двухнедельных спринт команда выпускает что-то новое.

Команда Альфа активно работает над интерактивными платежными навыками и готовит к запуску целый пул голосового платежного функционала, использующего шаблоны мобильного приложения банка. Это голосовая оплата мобильной связи, телекома, ЖКУ, переводы СБП и т.д.

0
5 комментариев
Ilya Konovalenko

Ассистент тем временем получился ужасно тупым. Тестил его при запуске, потом к чертям отключил, недавно решил затестить снова, так вот он не стал умнее от слова совсем. Под капотом может и много всего крутого, но интеллект ассистента при этом на уровне паучка.

Например, этот интеллектуал предлагает рассказать про кредиты, про ипотеку, однако, таких продуктов у меня нет. На все нужные мне вопросы при этом он отвечал, что ответа не знает и предлагал рассказать про долг по ипотеке, которой у меня нет и не было. Даже на элементарный вопрос - сколько денег у меня на счетах, Альф не смог дать ответ и предложил посмотреть самостоятельно. Для чего это всё? Вы уверены, что вам есть чем гордиться на текущем этапе развития ассистента?

Ответить
Развернуть ветку
Альфа-Банк

На этапе тестирования действительно что-то могло работать не так 😅
Но сейчас всё должно быть в порядке. Во всяком случае те действия, которые вы написали, Альф выполнит.
Если нет, можете рассказать подробнее в личке, мы проверим 🤝

Ответить
Развернуть ветку
Ilya Konovalenko

Баланс стал показывать, действительно, хотя ещё неделю назад не умел.
А вот это как? (Первое, что пришло в голову)
У вас весь кэшбэк становится доступен 10 числа, почему Альф не знает столь элементарного?
И про рубли элементарный вопрос решить не может 🙂
Нет, что бы вы и ваши подрядчики не писали, Альф пока ещё очень сырой для рекламы.

Ответить
Развернуть ветку
Just AI
Автор

Немного про то, почему пользовательский опыт важен. Интеллект ассистента — это не какая-то константа в вакууме, он развивается. И без запуска на реальных клиентов оценить зоны роста помощника невозможно. Мы, конечно же, сами его тестируем и вместе с коллегами из Альфа-Банка мониторим поведение Альфа. Он понимает запрос пользователя, отвечает на запрос по балансу, навигирует по функционалу приложения, поддерживает беседу и т.п. Но ваш опыт (спасибо за скрины и что рассказали) как раз и находит отражение в аналитике и становится основой для всяких продуктовых инсайтов и дальнейшего развития помощника. И тут дело не именно в Альфе — так строится работа над всеми ассистентами и AI-ботами.

Ответить
Развернуть ветку
Sergey Mironov

Очередная ненужная свистелка-пердерка, лучше бы стабильности работы приложения добавили. Раздел "Расходы и доходы" работает только минимум с 3-ого раза...

Ответить
Развернуть ветку
Читать все 5 комментариев
null