Как устроен голосовой ассистент Альфа-Банка: chit-chat от Just AI, синтез речи от Yandex.Cloud и голос Брэда Питта

В конце 2021 года Альфа-Банк запустил на клиентов голосового финансового помощника Альфа. Вместе с питерской командой Цифрового бизнеса Альфа-Банка над Альфом работали два ключевых партнера и один известный актер.

На технологиях Just AI созданы интеллект и внутренняя логика ассистента, продукты Yandex.Cloud отвечают за синтез голоса и распознавание речи, а озвучил Альфа актер Всеволод Кузнецов — голос Брэда Питта, Киану Ривза, Ведьмака и Волан-де-Морта.

Рассказываем, что за технологии под капотом у ассистента Альфа и с какими челленджами столкнулись его разработчики.

Самой крупной целевой аудиторией современных банков становятся миллениалы и поколение Z, которые предпочитают взаимодействие с сервисами через цифровые каналы. Например, по оценкам Business Insider Intelligence, 78% миллениалов не пойдут в отделение банка, если могут вместо этого воспользоваться digital-сервисом

Своих собственных голосовых помощников создали Bank of America (Erica), Capital One (Eno), ICICI Bank (iPal). В России первыми голосовых ассистентов запустили Тинькофф, Сбер и Альфа-Банк — в ноябре 2021 года ассистент Альф стал доступен всем клиентам Альфа-Банка.

Создатели Альфа убеждены в том, что голосовой помощник, интегрированный в онлайн-банкинг, способен по-настоящему «оживить» и гуманизировать банковских роботов. Эта идея – развитие концепции Phygital, сервиса и коммуникаций на стыке цифрового и физического пространств.

В основе виртуальной личности Альфа – собирательный образ на базе культурного архетипа «умный дворецкий» (отсылающего к таким персонажам, как Дживс из «Дживс и Вустер» или Альфред Пенниуорт из «Бэтмена»). Этот образ и определял характер, манеры, юмор, голос помощника.

Альф не антропоморфен, но гуманистичен: при разговоре с Альфом ваше воображение, опираясь на знакомые культурные референсы и тональность разговора, само нарисует портрет приятного собеседника и верного помощника.

Огромную роль в процессе гуманизации Альфа сыграл конкретный голос, а точнее — синтез речи, обладающий чертами характера заданного персонажа. Для разработки голоса Альфа был проведен кастинг среди топовых звезд индустрии кинодубляжа и озвучки игр.

В результате был выбран известный актер Всеволод Кузнецов – официальный голос Киану Ривза, Брэда Питта, знакомый многим по озвучке Волан-де-Морта в фильмах про «Гарри Поттера» или Ведьмака в одноименной игре.

Как рассказал сам Всеволод Кузнецов, для актера работа над синтезом голоса – не самая простая задача. В течение многих часов в студии ему приходилось зачитывать огромные массивы текста. Причем, в отличие от традиционно актерской работы, это был не связанный сюжетом текст – для машинного обучения важно, чтобы датасет был разнообразным.

Всеволод начитывал отрывки из классики, профессиональной литературы, новости, тексты на финансовую тематику, фрагменты без начала и конца. Причем в независимости от содержания и смысла читать нужно было, выдерживая образ и тональность персонажа.

Помимо голоса на гуманизацию ассистента особенно влияет юмор. Команда Альфа даже проводила исследование среди пользователей мобильного банкинга – как воспринимается юмор в контексте взаимодействия с банком, и 95% респондентов ответили, что юмор уместен.

Даже в рутинных сценариях вроде проверки задолженности по кредиту чувство юмора ассистента позволяет выравнивать эмоциональный фон диалога, делать его непринужденным и дружелюбным.

Но наделить виртуального ассистента юмором было отдельным челленджем: ведь нужно не только продумать контент (здесь помог коллаб с одним из культовых иронических пабликов Рунета «SlovoDna» Кирилла Караваева), но и выдерживать tone-of-voice банка и требования редполитики, сочетая юмор с образом помощника.

Синтез голоса Альфа был создан в партнерстве с командой Yandex.Cloud. Благодаря опыту Yandex.Cloud в сфере прикладного машинного обучения и речевых технологий, Альф звучит и разговаривает практически неотличимо от человека. При этом применение облачных технологий в разработке Альфа — один из редких кейсов использования облаков в финансовой отрасли.

Есть предубеждение, что банковские продукты и облака несовместимы – например, считается, что они менее надежные, чем разработка on-premise. Как показал опыт запуска Альфа, облачные сервисы отлично решают проблему турбулентности трафика, с которой сталкиваются риалтаймовые продукты (а ассистент работает в режиме реального времени), и помогают нивелировать влияние на продукт пиковых нагрузок.

«Альф получился отличным финансовым ассистентом, у которого помимо функциональных навыков здорово реализована важнейшая сторона голосовых помощников: установление эмоциональной связи с брендом с помощью тщательно подобранного голоса, характера, образа и визуала.

Но для AI-продукта характер персонажа, его интеллект и логика взаимодействия с пользователем – это вполне конкретные технологии: за понимание естественного языка и управление диалогом в Альфе отвечает платформа Just AI Conversational Platform, за так называемую «болталку», функционал chit-chat – то есть способность ассистента свободно поддерживать разговор – NLU-сервис CAILA», – говорит Кирилл Петров.

Chit-chat – одна из самых челленджевых частей AI-ассистента с точки зрения искусственного интеллекта. Конечно, голосовой помощник обладает набором навыков, по сути, дублирующим функции мобильного приложения, – есть понятный CJM (customer journey map), который разработчикам нужно переложить на разговорный интерфейс. «Болталка» же – это определенный вызов, ведь такого рода коммуникации с клиентами у банка не было, а прописать по пунктам логику и четкое ТЗ, как именно должен работать chit-chat, невозможно.

Just AI расширили список вопросов до нескольких сотен и привлекли к задаче участников Яндекс.Толоки – ребята придумывали вопросы, парафразы, формулировки, а мы по ним готовили ответы. Так сформировался качественный датасет, который был загружен в NLU-сервис CAILA.

Голосовой помощник Альф работает в авторизованной зоне мобильном приложении банка. Еще до пандемии мобильным приложением Альфа-Банка активно пользовались более 80% клиентов. Поэтому команда банка выбрала его как первую платформу для запуска ассистента – в приложении много пользователей, сценарий коммуникации понятен и удобен для переноса в разговорный интерфейс.

Чтобы весь конструктор разговорных технологий – ASR/TTS от Яндекса, диалоговая система и NLU от Just AI – заработал в телефоне, было нужно подходящее решение для интеграции с мобильными поверхностями. Альфа-Банк выбрал Aimybox – SDK для in-app ассистентов от Just AI, в котором определена логика взаимодействия технологических компонентов разговорного решения.

«Вряд ли в цифровой отрасли найдется более сложное по функционалу приложение, чем мобильный банк. Иногда клиенту бывает сложно быстро найти определенную функцию в приложении, особенно если она редко используется. Альф эту задачу вполне решает – клиент может с помощью голоса, на привычном ему естественном языке «телепортироваться» в нужную функциональность мобильного банка», – отмечает Владимир Китляр.

Альф уже обладает целым пулом финансовых навыков. Он хорошо ориентируется в финансовых продуктах пользователя и быстро ответит на вопросы о балансе на счетах, задолженности по кредитной карте, сумме ближайшего платежа по кредиту или состоянию дел по ипотеке. При этом работа по развитию продолжается постоянно, буквально каждый двухнедельных спринт команда выпускает что-то новое.

Команда Альфа активно работает над интерактивными платежными навыками и готовит к запуску целый пул голосового платежного функционала, использующего шаблоны мобильного приложения банка. Это голосовая оплата мобильной связи, телекома, ЖКУ, переводы СБП и т.д.

#голосовой_помощник #альфабанк #justai #yandexcloud