Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают Статьи редакции
Подробности работы и короткие заметки с закрытой демонстрации.
24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».
Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».
«Салют»
«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.
Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:
- «Сбер» — интеллигентный.
- «Джой» — жизнерадостная.
- «Афина» — «педантичная и начитанная», боле строгая, чем «Джой».
Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.
Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.
Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:
- Включать и управлять музыкой «СберЗвука» и библиотекой Okko. Помощник распознает русскую и английскую речь, ставит лайки и дизлайки для улучшения рекомендаций, ищет нужную песню, исполнителя или альбом.
- Записывать к врачу или в салон красоты — для этого пользователю нужно точно указать, куда и когда он хочет записаться и что нужно сделать (аналог функции Google Duplex).
- Отправлять переводы и пополнять мобильный счет.
- Делать покупки — заказывать еду в «Самокате». В будущем будет поддержка Delivery Club.
- Отвечать на вопросы и давать короткие справки.
Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.
Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.
Как это работало на презентации
На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».
Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.
Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».
Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.
SberBox — приставка с видеошопингом
SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.
Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».
В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.
ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.
Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.
На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.
Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.
Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.
Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.
По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».
Смарт-дисплей SberPortal с звонками в Telegram и распознаванием жестов
«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.
По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.
Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.
Жесты и камера
Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.
SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:
- V указательным и средним пальцем — активировать ассистент.
- Большой палец вверх и вниз — для лайка и дислайка песне.
- Раскрытая ладонь — приостановить и продолжить воспроизведение.
- Палец к губам — отключить звук.
Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.
Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.
Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.
Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.
Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.
SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.
Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.
Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.
Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.
Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.
Приложение обновилось, но салюта не появилось.
На презентации говорили, что будут раскатывать постепенно
На сайте об этом ни слова)
В чейнджлоге есть, кстати