Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают

Подробности работы и короткие заметки с закрытой демонстрации.

24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».

Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».

«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.

Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:

Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.

Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.

Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:

Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.

Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.

На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».

Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.

Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».

Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.

SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.

Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».

В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.

ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.

Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.

На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.

Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.

Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.

Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.

По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».

«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.

По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.

Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.

Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.

SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:

Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.

Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.

Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.

Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.

Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.

SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.

Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.

Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.

Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.

Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.

#сбербанк #сбер #sberportal #sberbox