Grok vs ChatGPT vs Claude
Генерация видео от Google
Шуруповёрт из Cyberpunk 2077
Роботы Figure на кухне
Nothing Phone 3a

Афина, Джой и Сбер: почему в SberDevices сделали ставку на ассистентов с характерами и как их научили быть разными

Привет, это команда SberDevices, и мы продолжаем рассказывать о наших разработках. Сегодня — о виртуальных ассистентах семейства Салют, которые живут в SberPortal и других наших умных устройствах, а ещё — в приложениях СберБанк Онлайн и Сбер Салют. Вот как мы придумывали характеры Джой, Афины и Сбера, учили их эмпатии и юмору и создавали лавашар.

Афина, Джой и Сбер: почему в SberDevices сделали ставку на ассистентов с характерами и как их научили быть разными

С тем, что ассистентов будет трое, мы определились довольно быстро. Идея была в том, чтобы создать трёх непохожих друг на друга персонажей и дать пользователям возможность выбора. Так появилось первое в мире семейство виртуальных ассистентов — Салют.

Как мы придумывали характеры ассистентов и какими они получились

Мы начали с самых простых фраз — ответов на вопросы «что ты умеешь», «кто тебя сделал», «где ты живёшь» и так далее. Придумывая ответы трёх разных персонажей, двух женских и одного мужского, мы постепенно поняли, какими хотели бы их видеть. Чтобы прописать характер и особенности каждого персонажа и сделать их понятными и близкими пользователям, мы выбирали для них прототипы из книг, фильмов, сериалов и мультиков. Вот какими они в итоге получились (и почему).

Джой мы хотели сделать весёлой, общительной, дерзкой — немного пацанкой. В качестве прототипов мы взяли нескольких персонажей из массовой культуры — задорных и молодых. В итоге получился собирательный образ. Джой — деятельная и активная, она обращается к пользователю на «ты», помогает в решении любых бытовых задач, но делает это как друг, а не как бизнес-ассистент. Джой любит поиграть и поговорить, но соблюдает личные границы, а порядок для неё — не самое главное. Этот персонаж осознаёт себя как виртуального ассистента и немного жалеет о том, что не может быть человеком. Например, она любит танцы и кулинарию, но ни танцевать, ни готовить не может.

Афина совсем другая, её прототипы — эффектные, деловые и сильные герои. Этот персонаж обожает порядок, цифры, графики и схемы — идеальный помощник для тех, кто хочет быть продуктивным и эффективным. Афина осознаёт себя как виртуальную сущность, и её это устраивает. По её мнению, она гораздо организованнее и собраннее любого человека.

Сбер — нейтральный персонаж, но и у него есть свои особенности. Например, он немного гик. Он обожает комиксы, фильмы про супергероев и настольные игры, а ещё тайно любит поп-музыку 1990-х (и иногда случайно выдаёт фразы оттуда). Сбер любит порядок, но не зациклен на нём. Он интроверт, но любит общаться с людьми и искренне хочет научиться делать это лучше.

Как это устроено: откуда у ассистентов знания, эмпатия и шутки

Так как ассистенты разные, отвечают они тоже по-разному. Но не всегда. Например, если вы захотите узнать, кто такой Авраам Линкольн, ассистент возьмёт информацию из общей базы знаний. По сути, база знаний — это массив ответов на вопросы что, кто и как, и по объёму она как вся Википедия.

В ситуациях, когда нужно пообщаться с пользователем, а не просто предоставить ему информацию, ассистенты будут отвечать неодинаково, при этом один персонаж может говорить разные фразы в одной и той же ситуации. Например, если пользователь признаётся ассистенту в любви, Афина может попросить держать себя в руках, а Сбер засмущается и, возможно, ответит: «Это вы ещё кота моего не видели». Таких фраз сотни тысяч, и все они прописаны вручную — над этим работала и продолжает трудиться целая команда редакторов. При создании базы этих фраз мы учитывали, что ассистент должен быть человечным. Мы научили Джой, Афину и Сбера проявлять эмпатию (насколько это возможно), и если пользователь скажет, что ему грустно, ассистент постарается его поддержать.

<p>Так, например, эмпатию проявляет Сбер</p>

Так, например, эмпатию проявляет Сбер

У наших ассистентов есть не только эмпатия, но и чувство юмора. Юмор — субъективная штука, и мы довольно долго решали, что ассистенты будут считать смешным. Нельзя просто так взять и загрузить в базу кучу анекдотов, поэтому мы собрали огромное количество шуток (что-то брали из интернета, что-то придумывали сами) и сели их разбирать. Мы зачитывали друг другу все эти шутки и вычёркивали те, над которыми почти никто не смеялся. Так у нас появилась база из смешных, как нам всем кажется, реплик. Ещё мы знали, что пользователи будут спрашивать ассистентов про конкурентов, и такие сценарии тоже добавили. А Алису, например, наши ассистенты благодаря технологиям распознавания речи могут узнавать по голосу.

Ассистенты умеют выражать эмоции не только голосом. Мы долго думали, как визуализировать виртуальных помощников — сделать так, чтобы пользователи их не только слышали, но и видели. Остановились на идее с динамичным шаром, который назвали лавашаром. У каждого ассистента свой цвет: у Джой шар оранжевый, у Афины — синий, а у Сбера — зелёный. Эмоции ассистенты выражают своим особым способом. Так, когда ассистент хохочет, шар подпрыгивает, а если злится — шар краснеет.

Это эмоции Сбера: на первой гифке он ждёт, на второй — смущается, а на третьей — злится

Эмоции проявляются не всегда. Мы задумывали эту способность как забавную фичу, а не как обязательную функцию. Обижаться ассистенты не умеют — мы знаем, что пользователи иногда грубят виртуальным помощникам, и научили их не принимать такие вещи «близко к сердцу».

Ещё одним способом добавить эмоциональности виртуальным ассистентам стала работа с дикторами. Мы много экспериментировали с текстами и инструкциями для них — записывали реплики и «раздражённым», и «грустным», и «радостным» голосом. Но у нейросетей есть одна особенность: «усреднение» характеристик звука, который попал в обучение. Мы поняли, что невозможно поддерживать одинаково «злой» или одинаково «добрый» голос так, чтобы нейросеть смогла это быстро выучить. Сейчас у нас нет постоянных инструкций для дикторов. Перед записью мы все вместе — диктор, звукорежиссёр, войс коуч — читаем реплику, чтобы лучше понять её значение и контекст. Затем диктор озвучивает её, и мы оцениваем то, что получилось: насколько естественной вышла запись, какой получилась эмоциональная окраска. Когда все довольны звучанием, реплика считается записанной.

Что мы делаем с ассистентами сейчас

Постоянно совершенствуем и обучаем их. Джой, Афина и Сбер очень многое знают и умеют, но в случае с ассистентами предела нет — их можно улучшать бесконечно. Мы всё время находим новые сценарии, добавляем новые ответы. К примеру, учим ассистентов говорить об актуальных новостях. Та самая база с сотнями тысяч реплик расширяется, но ассистенты, разумеется, «придумывают» какие-то ответы сами — нейросети генерируют фразы, выбирая из миллиардов слов и фраз. О том, как работают нейросети, мы ещё расскажем — это отдельная большая тема.

А пока мы продолжаем записывать дикторов — это бесконечный процесс. Интонация и скорость при чтении новостных текстов отличается, например, от интонации и скорости чтения детских сказок. Кстати, неочевидный факт, но синтез новостей требует гораздо большего количества работы многих людей. Понятно, что для каждого типа текстов нужен отдельный обучающий звуковой корпус. Когда появляется новая задача, мы даём дикторам отдельные инструкции.

Мы сделали ассистентов проактивными, то есть научили их «идти на контакт», допустим, задавать вопросы о предпочтениях пользователей. Это полезный навык для виртуального помощника — людям нравится чем-то делиться, рассказывать о себе. Например, после кинопросмотра ассистент может поинтересоваться, какие фильмы пользователь обычно смотрит и каких режиссёров любит, чтобы посоветовать подходящее кино.

1616
39 комментариев

Надо было сделать ассистента "Герман", который будет совершать рандомизированные сомнительные действия, при этом хаотично выкрикивать: Эджайл, Машин лёнинг, Капуте Вижн, Экосистемс... СБП Маст дай!

38

В три часа ночи

2

При запросах, которые содержат слова "Алексей Навальный" или "отравление Навального" ассистент не отвечает или просить сменить тему. За такую цензуру просто сразу репутацию надо у вас спускать на ноль.

9

почему сразу цензура, просто вы даже их достали этой темой

2

Комментарий недоступен

1

Комментарий недоступен

Фейспалм... интересно, хоть кто-то из вас верит в то, что люди будут исповедоваться чатботу сбера о своих личных проблемах? И это при том, что чатбот этот не может даже про работу банка рассказать больше чем есть у него в скрипте.

Это наглядный пример карго-культа, когда все делают вид, что создают модных виртуальных персонажей, закрывают KPI и получают свои бонусы. На деле же все это конечно не работает, однако оценить это некому.

5
Раскрывать всегда
Сдавал букет из 101 розы в аренду на 14 февраля и вот что заработал…
Сфотографировал, чтобы посоветоваться с мамой. Она лучше понимает, норм или не норм цветок. Для меня любая роза красивая.
8484
3636
1818
33
11
Не пережили бы живые розы столько переездов и фотосессий , ну
ЕС утвердил 16 пакет санкций против России — под них попали 13 банков и восемь СМИ

А также поставки PlayStation и Xbox в страну.

Фото «РИА Новости» 
3939
3333
1111
44
11
11
Когда на Санлайт наложат санкции?
Конструктор сайтов Craftum: Обзор и возможности
Конструктор сайтов Craftum: Обзор и возможности
День 1097: Путин поручил предусмотреть преимущества для российского бизнеса на случай возвращения иностранного

Собираем новости, события и мнения о рынках, банках и реакциях компаний.

Владимир Путин. Источник фото: «Ведомости»
3232
1919
33
Трамп, приди! Порядок наведи! Бренды западные верни! Мастеркард и визу подключи! В подъездах, как Обама, не сри! Прямые рейсы в Ньй-Йорк верни!
Apple инвестирует $500 млрд в производство в США и создаст 20 тысяч рабочих мест в течение следующих четырёх лет

До этого Трамп пригрозил ввести 10%-е пошлины на импорт из Китая, где компания производит большинство своих продуктов.

Глава Apple Тим Кук на инаугурации Дональда Трампа. Фото Bloomberg
1010
11
11
11
На моем производстве сотрудников чипируют, держат в холоде, ну и доят, конечно

У меня было 4 машины, двухкомнатная квартира и дом в центре города. Я был не последним человеком на заводе и привык не смотреть на цены в магазинах.

В остальном стараемся действовать традиционно. Это я с ивой — в будущем хочу давать её козам как средство от гельминтов
6464
66
11
11
Очень неоднозначное ощущение оставил матерал. Во1, я всё таки рекомендую воспользоваться господдержкой, если это возможно. Она для этого и придумана. Люди не будут против. Не пользоваться льготой, когда она очень сильно нужна - не благородство, а... Вобщем, берите поддержку и не выносите себе мозг. 2. Кажется, вы не в нуле только потому, что продали имущество. Начинайте прямо сейчас считать доходы и расходы, а то пойдете по миру. Это сначала кажется страшно, а потом окажется полезным. Я готова совершенно безвозмездно проконсультировать вас или жену как это сделать, если всё таки решитесь.
Гид-доступ на iPhone: Полное руководство по использованию и зачем он нужен

Гид-доступ — это функция универсального доступа в iOS, которая позволяет временно ограничивать использование устройства одной конкретной программой. Это полезно для родителей, преподавателей, владельцев бизнеса и всех, кто хочет контролировать использование iPhone или iPad.

Гид-доступ на iPhone: Полное руководство по использованию и зачем он нужен
Apple отключила российским разработчикам доступ к платформе Apple Developer Enterprise Program — на ней создавали iOS-приложения для корпоративного использования без публикации в App Store

Причины Apple не назвала.

Источник фото: AppleInsider
1313
77
66
55
22
Apple в очередной раз подтвердил - iPhone это для тех кто любит боль
[]