«Афина, забронируй столик». Как виртуальные ассистенты Сбера научились звонить в рестораны и салоны красоты за вас

Виртуальные ассистенты семейства Салют — Джой, Афина и Сбер — могут записать вас к доктору, на маникюр или зарезервировать место в кафе. При этом помощники учитывают пожелания пользователей, например, бронируют столик у окна или в зале без кальянов. Это возможно благодаря навыку Дуэт: он получил это название, поскольку взаимодействует и с людьми, и с бизнесом. Рассказываем, как мы создавали Дуэт и как планируем развивать продукт.

Здесь должна была быть фотография команды Дуэта, но она никогда ещё не собиралась вместе физически — все работают удалённо. На скриншоте — часть команды

В мире пока всего два навыка с такой функциональностью. В 2018 году Google представил в США систему Duplex, которая узнает график работы заведений или записывает пользователя на приём к специалистам. Постепенно сервис запускают и в других странах, но почему-то список услуг, доступных пользователям, не расширяют.

В 2020 году в России появился Дуэт — навык работает в приложениях СберБанк Онлайн и Сбер Салют, а также в устройствах SberPortal и SberBox.

Механика работы: как вызвать навык и что будет происходить дальше

Дуэт работает одинаково как на девайсах, так и в приложении Сбербанк Онлайн. Сейчас навык чаще используют в мобильном приложении, что понятно — телефон всегда под рукой. На примере приложения и покажем, как работает сервис. Первым делом надо вызвать виртуального ассистента, скажем, Афину, и дать команду. Например: «Афина, забронируй столик».

Можно сразу назвать конкретное заведение или дождаться, пока помощник предложит ближайшие рестораны на выбор. После этого надо сообщить время, к которому вы планируете прийти, и количество гостей. Узнав самое важное, ассистент уточнит, есть ли другие пожелания. Может, вы хотите столик подальше от входа или поближе к детскому уголку.

Вскоре ассистент пришлёт пуш-уведомление о том, удалось ли выполнить поручение. Бронь сохраняется в диалоге пользователя с помощником — её всегда можно перенести, отменить или повторить, если вы любите ходить в одни и те же места. Просто скажите: «Перенеси бронирование столика» или «Запиши, как в прошлый раз». О результате ассистент сообщит. А если вы пропустили пуш-уведомление, спросите «Что с моей записью?», и он расскажет, всё ли прошло удачно.

Чтобы воспользоваться Дуэтом, откройте приложение СберБанк Онлайн и вызовите виртуального ассистента. Для этого нужно нажать на круглую иконку в верхнем правом углу экрана

Что происходит «под капотом» Дуэта — и как мы обучали ассистентов навыку

Если пользователь хочет забронировать столик в ближайшем ресторане, ассистент по геолокации определяет местоположение пользователя и ищет ближайшие заведения. Если человек называет конкретный ресторан — помощник ищет информацию о заведении в картографическом сервисе 2ГИС, «забирает» оттуда номер телефона и звонит, чтобы договориться о брони. Также из 2ГИС система узнаёт точный адрес, ближайшую станцию метро и график работы. Даже если пользователь в два часа ночи просит записать его в парикмахерскую, Дуэт понимает, в какое время лучше звонить мастеру, — и сделает это утром, когда салон откроется.

Вокруг навыка Google Duplex произошёл скандал, когда стало известно, что некоторые звонки совершают живые операторы, а не искусственный интеллект. Мы не скрываем, что наша система пока обучается: иногда ей «помогают» операторы. Такое случается, если администратор задаёт вопросы, которых ассистент не ожидает. К примеру, кроме записи на стрижку ему начинают предлагать маникюр и педикюр.

Чтобы записи проходили успешно, мы по отдельности проработали каждый возможный сценарий и составили список предпочтений пользователей: записать клиента на маникюр и забронировать столик — не одно и то же. Мы научили ассистентов задавать людям вопросы, которые обычно задают администраторы. «На какое время и к какому мастеру вы хотите записаться? Снятие покрытия нужно? Какой вид маникюра интересует? Нужно ли покрытие? Какое — гель-лак или обычный?» — зная ответы, ассистент без проблем ведёт диалог с сотрудником организации. Помог и сильный движок скриптов, который достался Дуэту от наших коллег по Сберу из команды VS Robotics. Разработчики из этой компании создали робота, обученного холодным продажам, а потом поделились этой технологией с нами.

Одной из наиболее сложных задач стало определение времени, которое имеют в виду пользователи. Люди могут сказать: «Восемь часов» — и живой собеседник, зная контекст, понимает: речь о восьми утра или о восьми вечера. Изначально ассистент был вне контекста — и не знал, что делать, когда ему говорили: «Запиши меня на восемь». Чтобы решить проблему, мы выявили и прописали паттерны, которые помогают алгоритмам понимать контекст. Теперь помощники знают, что в больницу человек скорее всего записывается на восемь утра, а на маникюр — на восемь вечера.

Во время звонка Сбера, Джой или Афины администраторы с самого начала понимают, что разговаривают с виртуальным ассистентом — он представляется. Иногда бросают трубку — люди привыкли, что роботы звонят ради холодных продаж. Но наши виртуальные ассистенты, наоборот, приводят клиентов. Чаще всего администратор осознаёт это — и общается с роботом, даже если поначалу чувствует неловкость. Чтобы сделать помощников естественнее, мы добавили некоторые детали. Например, когда администратор говорит «Одну минуту, я уточню», ассистент отвечает «Угу». Так, как это сделал бы человек.

Во время тестирования звонков мы заметили, что некоторых администраторов смущает слово «ассистент». Они спрашивали, кем работает человек, раз столик за него бронирует ассистент. Теперь, если возникает подобный вопрос, помощник коротко рассказывает собеседнику о себе. Например, говорит: «Необязательно иметь особенную работу, виртуальный ассистент готов помочь любому человеку, достаточно попросить меня в приложениях СберБанк Онлайн или Сбер Салют».

Как мы развиваем Дуэт — и каким видим его будущее

Дуэт работает в 30 регионах России, а до конца года мы хотим запустить навык на всю страну. Добавить новый регион — нетривиальная задача: нужно исследовать районы, топонимы, заведения и знаковые для местных жителей места. Важно «выгрузить» не только официальные топонимы, но и народные. Например, в Петербурге кто-то попросит найти кофейню на Васильевском острове, а кто-то — на Ваське.

Афина поняла, что имела в виду Кристина, когда говорила «в районе Поклонки»

В будущем мы планируем превратить Дуэт в хаб, который сможет работать со множеством существующих систем для бронирования и записи. Чтобы ассистент мог позвонить и в маленький бар, и записать пользователя через API крупной компании. Получится консьерж-сервис внутри ассистента.

Конечно, мы будем расширять список услуг. Чтобы узнать, какие функции будут востребованными, мы постоянно проводим исследования. Ваше мнение нам тоже интересно: пожалуйста, выскажитесь в комментариях — и мы их обязательно изучим. А если вам интересно, как работает Дуэт, попробуйте забронировать столик в ресторане или записаться на стрижку.

0
24 комментария
Написать комментарий...

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Станислав Терентьев

Сервис огонь, хотя поначалу стремно, что приедешь в бар в пятницу, а тебе скажут, что никакой брони нет или она в другом заведении. Трижды бронил места, полет нормальный, удобно, но ппц непривычно 

Ответить
Развернуть ветку
Соня Карлова

Афина, напиши хвалебный комментарий под статьей про Сбер на VC

Ответить
Развернуть ветку
SberDevices
Автор

Станислав, спасибо за обратную связь, нам очень приятно 🙂
Верим, что в скором будущем решать подобные задачи при помощи виртуальных ассистентов станет привычным делом.

Ответить
Развернуть ветку
Эдуард Хамзин

Ахаха

Ответить
Развернуть ветку
Igor Alexandrov

Ради теста пробовал записаться в барбершоп, успешно - пришлось сходить.

Ответить
Развернуть ветку
SberDevices
Автор

Игорь, мы рады! Надеемся, Дуэт еще не раз успешно поможет вам в решении подобных задач 🙂

Ответить
Развернуть ветку
Прочел это-потратил время зря

Дак попробовали бы отписаться! Вдруг бот лажанёт?

Ответить
Развернуть ветку
Марк Климов

Осталось всем ресторанам и доставкам ввести голосового ассистента и наконец эти цепочки бессмысленных звонков превратятся в простой чат.

Ответить
Развернуть ветку
Sergey Komarov

Зашел в комменты, чтобы узнать, что и здесь говна на вентилятор накидали

Ответить
Развернуть ветку
Дмитрий Кудрявцев

Звук как интерфейс действительно может оказаться интересной возможностью в перспективе развития следующих 10-15 лет. Если кому-то интересно погрузиться в "голос и звук" в этой статье я описал туториал как создать простого голосового ассистента на iOS https://habr.com/ru/company/vsrobotics/blog/550002/. К статье прилагается исходный код на github!

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Инспектор

Всегда к вашим услугам ✨

Ответить
Развернуть ветку
Олег

сколько нужно предрплату внести сразу напишите, а то может нам не хватит на нее

Ответить
Развернуть ветку
олег чагаев

Вот вроде все хорошо но без счета в вашем банке использовать не возможно

Ответить
Развернуть ветку
SberDevices
Автор

Олег, здравствуйте! Дуэт могут использовать и клиенты других банков. Для этого можно скачать приложение Сбер Салют или использовать наши устройства — SberBox или SberPortal

Ответить
Развернуть ветку
Mike Bystroff

Афина, забронируй мне барышню нетяжёлого поведения с навыком "Дуплет"

Ответить
Развернуть ветку
S.Z

Гугл кстати показывал такую фиту, она у них работает?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
A SUS

Сберкибер, вместо помощников для вызова такси лучше оптимизируйте СБОЛ для андроид, а то весит почти 400мб, а висит - конкурент Тинькофф весит меньше 300мб, но летает и намного больше инфы в себе содержит, вплоть до расписания кинотеатров по всей стране.

Ответить
Развернуть ветку
ivan krapivin

Афина СберДжой: «Мы не сеем».

Ответить
Развернуть ветку
Владислав Мальцев

"Попробуй теперь забронировать столик в Дорсии, поганый ублюдок!"(С) Патрик Бейтман

Ответить
Развернуть ветку
Владислав Мальцев

Ох уж эти помощники Сбера!

А я вот на днях зашел в отделение Сбера. Обычное. Попросил поменять тарифы карты, ибо в Сбербанк-онлайн он не отображается. Нет, говорят, поменять тариф не можем - надо и карту менять. И реквизиты будут новые. А иначе никак - не можем к одному пластику привязать другой тариф!

Ответить
Развернуть ветку
Дмитрий Константинов

Голос у помощника кошмарный.
Сравните голос с Машей https://vc.ru/tribuna/226834-ya-introvert-ne-lyublyu-razgovarivat-po-telefonu-poetomu-ya-sozdal-robota-mashu-teper-ona-otvechaet-na-vse-zvonki

Ответить
Развернуть ветку
Alexey Akimychev

Ты бы просто написал что мол - а вот тут чувак сделал транскриптор и автоответчик. Зачем придумывать какие то мнимые недостатки с голосом? 

Ответить
Развернуть ветку
21 комментарий
Раскрывать всегда