Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают

Подробности работы и короткие заметки с закрытой демонстрации.

24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».

Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».

Презентация «Салюта»

«Салют»

«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.

Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:

  1. «Сбер» — интеллигентный.
  2. «Джой» — жизнерадостная.
  3. «Афина» — «педантичная и начитанная», боле строгая, чем «Джой».

Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.

Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.

Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:

  • Включать и управлять музыкой «СберЗвука» и библиотекой Okko. Помощник распознает русскую и английскую речь, ставит лайки и дизлайки для улучшения рекомендаций, ищет нужную песню, исполнителя или альбом.
  • Записывать к врачу или в салон красоты — для этого пользователю нужно точно указать, куда и когда он хочет записаться и что нужно сделать (аналог функции Google Duplex).
  • Отправлять переводы и пополнять мобильный счет.
  • Делать покупки — заказывать еду в «Самокате». В будущем будет поддержка Delivery Club.
  • Отвечать на вопросы и давать короткие справки.

Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.

Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.

Многие SmartApps можно создавать вообще без написания кода. У нас есть заранее приготовленные шаблоны и конструктор для тех, кто не хочет или не умеет программировать. Мы полностью открываем SmartMarket абсолютно для всех. Мы хотим, чтобы навык вашей компании тоже был на полках SmartMarket.

Давид Рафаловский, исполнительный вице-президент, руководитель блока «Технологии» «Сбербанка»

Как это работало на презентации

На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».

Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.

Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».

Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.

Пользователь может попросить рецепт блюда, и «Салют» покажет интерактивные карточки с каждым шагом приготовления и таймерами. Ответы на вопросы подкрепятся графикой
Пользователь может попросить рецепт блюда, и «Салют» покажет интерактивные карточки с каждым шагом приготовления и таймерами. Ответы на вопросы подкрепятся графикой

SberBox — приставка с видеошопингом

SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.

Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».

Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают

В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.

ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.

Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.

На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.

Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.

Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.

Внешний вид стика-накладки
Внешний вид стика-накладки
Игра в хоккей с виртуальным геймпадом
Игра в хоккей с виртуальным геймпадом

Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.

По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».

Смарт-дисплей SberPortal с звонками в Telegram и распознаванием жестов

«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.

Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают

По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.

Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.

Колонка умеет «вилять хвостом», при этом колеблется динамик
Колонка умеет «вилять хвостом», при этом колеблется динамик

Жесты и камера

Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.

SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:

  • V указательным и средним пальцем — активировать ассистент.
  • Большой палец вверх и вниз — для лайка и дислайка песне.
  • Раскрытая ладонь — приостановить и продолжить воспроизведение.
  • Палец к губам — отключить звук.

Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.

Моя любимая часть презентации Сбера https://t.co/bT2P5vXFOi
Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают

Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.

Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.

Белая версия — сбоку
Белая версия — сбоку

Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.

Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.

SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.

Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.

Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.

Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.

Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.

23
62 комментария

КРИНЖ

8
Ответить

Даже не знаю, что хуже: презентация сбера или люди, которые в каждую дырку пытаются вставить слово «КРИНЖ».

48
Ответить

А тут где кринж, я про устройства

3
Ответить

 Колонка умеет «вилять хвостом», при этом колеблется динамикЛя, топ

17
Ответить

Ещё он умеет: Отправлять переводы и пополнять мобильный счетБрать кредит

11
Ответить

Заходят как-то Алиса, Олег и Маруся в бар, а там Салют!

10
Ответить

Всё что показал Сбер, разработано китайцами и просто брендировано. Смешно слышать название SberDevice, когда в стране ничего не производят.
Сбербанк сегодня присутствует как в Яндекс, так и в Mail.Ru, а буквально несколько лет назад глава центробанка признала, что они не знают, куда деть этого монстра и что с ним делать, в итоге мы наблюдаем картинку пустой растраты средств на нелепые покупки и попытку скрестить тёплое с мягким.
Какой смысл вкладывать деньги в ребрендинг на закате традиционного банкинга, когда платежи и хранение денежных средств перейдут в телеком? А что у Сбера с телеком? - Виртуальный оператор на базе Ростелекома (привет ВТБ)
Жаль, что в этой стране нет смертной казни, поскольку Греф со своим языком подлизывающим яйца Huawei на конференциях, достоин только такого финала.
Ну а я с вами прощаюсь, уважаемые читатели vc.ru и желаю успехов в комментаторской деятельности.

10
Ответить