Афина, Джой и Сбер: почему в SberDevices сделали ставку на ассистентов с характерами и как их научили быть разными

Привет, это команда SberDevices, и мы продолжаем рассказывать о наших разработках. Сегодня — о виртуальных ассистентах семейства Салют, которые живут в SberPortal и других наших умных устройствах, а ещё — в приложениях СберБанк Онлайн и Сбер Салют. Вот как мы придумывали характеры Джой, Афины и Сбера, учили их эмпатии и юмору и создавали лавашар.

С тем, что ассистентов будет трое, мы определились довольно быстро. Идея была в том, чтобы создать трёх непохожих друг на друга персонажей и дать пользователям возможность выбора. Так появилось первое в мире семейство виртуальных ассистентов — Салют.

Как мы придумывали характеры ассистентов и какими они получились

Мы начали с самых простых фраз — ответов на вопросы «что ты умеешь», «кто тебя сделал», «где ты живёшь» и так далее. Придумывая ответы трёх разных персонажей, двух женских и одного мужского, мы постепенно поняли, какими хотели бы их видеть. Чтобы прописать характер и особенности каждого персонажа и сделать их понятными и близкими пользователям, мы выбирали для них прототипы из книг, фильмов, сериалов и мультиков. Вот какими они в итоге получились (и почему).

Джой мы хотели сделать весёлой, общительной, дерзкой — немного пацанкой. В качестве прототипов мы взяли нескольких персонажей из массовой культуры — задорных и молодых. В итоге получился собирательный образ. Джой — деятельная и активная, она обращается к пользователю на «ты», помогает в решении любых бытовых задач, но делает это как друг, а не как бизнес-ассистент. Джой любит поиграть и поговорить, но соблюдает личные границы, а порядок для неё — не самое главное. Этот персонаж осознаёт себя как виртуального ассистента и немного жалеет о том, что не может быть человеком. Например, она любит танцы и кулинарию, но ни танцевать, ни готовить не может.

Афина совсем другая, её прототипы — эффектные, деловые и сильные герои. Этот персонаж обожает порядок, цифры, графики и схемы — идеальный помощник для тех, кто хочет быть продуктивным и эффективным. Афина осознаёт себя как виртуальную сущность, и её это устраивает. По её мнению, она гораздо организованнее и собраннее любого человека.

Сбер — нейтральный персонаж, но и у него есть свои особенности. Например, он немного гик. Он обожает комиксы, фильмы про супергероев и настольные игры, а ещё тайно любит поп-музыку 1990-х (и иногда случайно выдаёт фразы оттуда). Сбер любит порядок, но не зациклен на нём. Он интроверт, но любит общаться с людьми и искренне хочет научиться делать это лучше.

Как это устроено: откуда у ассистентов знания, эмпатия и шутки

Так как ассистенты разные, отвечают они тоже по-разному. Но не всегда. Например, если вы захотите узнать, кто такой Авраам Линкольн, ассистент возьмёт информацию из общей базы знаний. По сути, база знаний — это массив ответов на вопросы что, кто и как, и по объёму она как вся Википедия.

В ситуациях, когда нужно пообщаться с пользователем, а не просто предоставить ему информацию, ассистенты будут отвечать неодинаково, при этом один персонаж может говорить разные фразы в одной и той же ситуации. Например, если пользователь признаётся ассистенту в любви, Афина может попросить держать себя в руках, а Сбер засмущается и, возможно, ответит: «Это вы ещё кота моего не видели». Таких фраз сотни тысяч, и все они прописаны вручную — над этим работала и продолжает трудиться целая команда редакторов. При создании базы этих фраз мы учитывали, что ассистент должен быть человечным. Мы научили Джой, Афину и Сбера проявлять эмпатию (насколько это возможно), и если пользователь скажет, что ему грустно, ассистент постарается его поддержать.

Так, например, эмпатию проявляет Сбер

У наших ассистентов есть не только эмпатия, но и чувство юмора. Юмор — субъективная штука, и мы довольно долго решали, что ассистенты будут считать смешным. Нельзя просто так взять и загрузить в базу кучу анекдотов, поэтому мы собрали огромное количество шуток (что-то брали из интернета, что-то придумывали сами) и сели их разбирать. Мы зачитывали друг другу все эти шутки и вычёркивали те, над которыми почти никто не смеялся. Так у нас появилась база из смешных, как нам всем кажется, реплик. Ещё мы знали, что пользователи будут спрашивать ассистентов про конкурентов, и такие сценарии тоже добавили. А Алису, например, наши ассистенты благодаря технологиям распознавания речи могут узнавать по голосу.

Ассистенты умеют выражать эмоции не только голосом. Мы долго думали, как визуализировать виртуальных помощников — сделать так, чтобы пользователи их не только слышали, но и видели. Остановились на идее с динамичным шаром, который назвали лавашаром. У каждого ассистента свой цвет: у Джой шар оранжевый, у Афины — синий, а у Сбера — зелёный. Эмоции ассистенты выражают своим особым способом. Так, когда ассистент хохочет, шар подпрыгивает, а если злится — шар краснеет.

Это эмоции Сбера: на первой гифке он ждёт, на второй — смущается, а на третьей — злится

Эмоции проявляются не всегда. Мы задумывали эту способность как забавную фичу, а не как обязательную функцию. Обижаться ассистенты не умеют — мы знаем, что пользователи иногда грубят виртуальным помощникам, и научили их не принимать такие вещи «близко к сердцу».

Ещё одним способом добавить эмоциональности виртуальным ассистентам стала работа с дикторами. Мы много экспериментировали с текстами и инструкциями для них — записывали реплики и «раздражённым», и «грустным», и «радостным» голосом. Но у нейросетей есть одна особенность: «усреднение» характеристик звука, который попал в обучение. Мы поняли, что невозможно поддерживать одинаково «злой» или одинаково «добрый» голос так, чтобы нейросеть смогла это быстро выучить. Сейчас у нас нет постоянных инструкций для дикторов. Перед записью мы все вместе — диктор, звукорежиссёр, войс коуч — читаем реплику, чтобы лучше понять её значение и контекст. Затем диктор озвучивает её, и мы оцениваем то, что получилось: насколько естественной вышла запись, какой получилась эмоциональная окраска. Когда все довольны звучанием, реплика считается записанной.

Что мы делаем с ассистентами сейчас

Постоянно совершенствуем и обучаем их. Джой, Афина и Сбер очень многое знают и умеют, но в случае с ассистентами предела нет — их можно улучшать бесконечно. Мы всё время находим новые сценарии, добавляем новые ответы. К примеру, учим ассистентов говорить об актуальных новостях. Та самая база с сотнями тысяч реплик расширяется, но ассистенты, разумеется, «придумывают» какие-то ответы сами — нейросети генерируют фразы, выбирая из миллиардов слов и фраз. О том, как работают нейросети, мы ещё расскажем — это отдельная большая тема.

А пока мы продолжаем записывать дикторов — это бесконечный процесс. Интонация и скорость при чтении новостных текстов отличается, например, от интонации и скорости чтения детских сказок. Кстати, неочевидный факт, но синтез новостей требует гораздо большего количества работы многих людей. Понятно, что для каждого типа текстов нужен отдельный обучающий звуковой корпус. Когда появляется новая задача, мы даём дикторам отдельные инструкции.

Мы сделали ассистентов проактивными, то есть научили их «идти на контакт», допустим, задавать вопросы о предпочтениях пользователей. Это полезный навык для виртуального помощника — людям нравится чем-то делиться, рассказывать о себе. Например, после кинопросмотра ассистент может поинтересоваться, какие фильмы пользователь обычно смотрит и каких режиссёров любит, чтобы посоветовать подходящее кино.

0
39 комментариев
Написать комментарий...
ЯжПрограммист

Надо было сделать ассистента "Герман", который будет совершать рандомизированные сомнительные действия, при этом хаотично выкрикивать: Эджайл, Машин лёнинг, Капуте Вижн, Экосистемс... СБП Маст дай!

Ответить
Развернуть ветку
Sergei Timofeyev

В три часа ночи

Ответить
Развернуть ветку
Стартапер-пессимист

При запросах, которые содержат слова "Алексей Навальный" или "отравление Навального" ассистент не отвечает или просить сменить тему. За такую цензуру просто сразу репутацию надо у вас спускать на ноль.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Андрей Деревянко

Либо очень тонко, либо тут проблемы не у ассистентов 😂

Ответить
Развернуть ветку
Антон Морозов

почему сразу цензура, просто вы даже их достали этой темой

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Valentin F

Фейспалм... интересно, хоть кто-то из вас верит в то, что люди будут исповедоваться чатботу сбера о своих личных проблемах? И это при том, что чатбот этот не может даже про работу банка рассказать больше чем есть у него в скрипте.

Это наглядный пример карго-культа, когда все делают вид, что создают модных виртуальных персонажей, закрывают KPI и получают свои бонусы. На деле же все это конечно не работает, однако оценить это некому.

Ответить
Развернуть ветку
Огурец Молодец

Могли б и поинтереснее персов сделать

Ответить
Развернуть ветку
Максим Ефимов

А можно робота, который отвечает по звонку в банк, научить перенаправлять на оператора при любых нестандартных запросах, а не пытаться переспросить несколько раз одно и тоже, а после нескольких неудачных попыток и просьбы просто соединить с оператором не отвечать "я понял, что вы хотите соединиться с оператором, но расскажите зачем"?

Ответить
Развернуть ветку
Маша с Магадана

Ага.
Или хотя б шутить научили, для разнообразия.
"Я понял - это намёк, я всё ловлю на лету. Но не понятно, шо конкретно вы имели в виду?"

Ответить
Развернуть ветку
Sergei Timofeyev
Ответить
Развернуть ветку
Ray Smith

Я матом начинаю орать. Обычно помогает.

Ответить
Развернуть ветку
Sergei Timofeyev

А они тебя в перманентный бан.

Ответить
Развернуть ветку
Oleg Matveenko

Надо было сделать ассистента "Тетя Галя", которая на все запросы говорит: Где карту оформляли туда и идите. А еще за каждый запрос снимает комиссию с карты в 50рублей, без предупреждения.

Ответить
Развернуть ветку
Dmitry Kiselev

После рекламы с Жоржем Милославским я ожидал ассистентов Труса, Балбеса и Бывалого)

Ответить
Развернуть ветку
A B

ЛавашАР?

Ответить
Развернуть ветку
Юрий Б.
Ответить
Развернуть ветку
greg chudnoff

Как бы не Сбер не говнились, но IT продукты они выдают классные.

Ответить
Развернуть ветку
SberDevices
Автор

Приятно это слышать!

Ответить
Развернуть ветку
greg chudnoff

Но мы вас все равно не любим ))

Ответить
Развернуть ветку
ВАНR

Не читал, но осуждаю.

Ответить
Развернуть ветку
Матвей Синицин

виртуальные ассистенты это интересно (сам не пользуюсь, так как в принципе неловко чувствую себя общаясь с куском железки), но могу себе представить, насколько сложно создавать таких помощников: предугадать вопросы пользователей, ответы, продолжить диалог, рассмешить и всё прочее. возможности человеческой фантазии просто безграничны. 

Ответить
Развернуть ветку
SberDevices
Автор

Здравствуйте, Матвей! Да, вы правы, это очень интересно, задач хватает на годы вперёд. Кстати, одна из них — сделать так, чтобы у вас не возникало ощущения, что вы общаетесь с «куском железки» 😉

Ответить
Развернуть ветку
Матвей Синицин

да мне даже "окей гугл" неловко вслух произносить))) а чтобы прям общаться... не дорос я еще до этого :) 

Ответить
Развернуть ветку
Den Tockiy

Из заголовка: "... почему в SberDevices сделали ставку на ассистентов с характерами.."
Так и не понял почему?

Ответить
Развернуть ветку
SberDevices
Автор

Здравствуйте! Люди разные, как и их предпочтения. Одни более эмоциональные и любят общаться неформально — такие, скорее всего, выберут Джой. Другим нравится, когда всё четко и по делу, и для них мы создали Афину. Мы решили дать каждому возможность самому определить, с каким виртуальным ассистентом ему будет комфортнее. Сейчас владельцев всех наших устройств по умолчанию встречает Сбер, но пользователи могут выбрать любого из трёх персонажей.

Ответить
Развернуть ветку
Oleg Matveenko

иллюзия выбора в общем)

Ответить
Развернуть ветку
Повелитель Ондатр

Жаль, третьего не хватает

Ответить
Развернуть ветку
greg chudnoff

Почему Джой, а не допустим Настя? Где патриотизм, где черт побери суверенность? Скрепы, наконец?

Ответить
Развернуть ветку
greg chudnoff

Остро недостает характера "Михалыч", который любит материться и вспоминать про родную 5-ю механизированную колонну. Ну емае, основная аудитория Сбера - это же не столичные миллениалы, это пенсионеры и региональные работяги.

Ответить
Развернуть ветку
Евгений Кашуба

Хочу сказку на ночь от Афины

Ответить
Развернуть ветку
SberDevices
Автор

А вы попросите ее: «Афина, расскажи сказку». И посмотрите, что будет 😉  В том же СберБанке Онлайн, если девайсов под рукой нет

Ответить
Развернуть ветку
Аннигиляторная Пушка

кек

Ответить
Развернуть ветку
Andrey Greenberg

Сбершарики 

Ответить
Развернуть ветку
Херня Всё

Почему все вкладываются в обертку продукта и не вкладываются в сам продукт? 

Например: есть бабушки, которые не очень в смартфоны хорошо тыкают пальцем. Им отлично бы зашел голосовой интерфейс - "позвони в вотсапе сыну", "позвони в телеге внуку". Если бы голосовые ассистенты умели это - своей бы точно купил девайс или смартфон или куда вы это засунете.. 

Но вместо фунционала все почему-то вкладываются в голоса и все такое. 

Ответить
Развернуть ветку
SberDevices
Автор

Просто купите бабушке SberPortal и общайтесь по видеозвонкам. Если в контактах есть «Внук», достаточно попросить виртуального ассистента ему позвонить 🙂

Ответить
Развернуть ветку
Влад Берг

Ассистенты Сбера (впрочем как и у других) ниочем ни на один вопрос который я задал они не смогли дать ответ.
Я вообще не понимаю зачем тратить столько бабла на то что можно заменить одной страницей FAQ? Зачем пихать бесполезные ответы в поддержку которая должна быть ориентирована на решение проблем в первую очередь?

Ответить
Развернуть ветку
Katie Larionova

Афина классная, но она шепелявит, сильно раздражает этим

Ответить
Развернуть ветку
36 комментариев
Раскрывать всегда