Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают Статьи редакции

Подробности работы и короткие заметки с закрытой демонстрации.

24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».

Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».

Презентация «Салюта»

«Салют»

«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.

Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:

  1. «Сбер» — интеллигентный.
  2. «Джой» — жизнерадостная.
  3. «Афина» — «педантичная и начитанная», боле строгая, чем «Джой».

Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.

Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.

Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:

  • Включать и управлять музыкой «СберЗвука» и библиотекой Okko. Помощник распознает русскую и английскую речь, ставит лайки и дизлайки для улучшения рекомендаций, ищет нужную песню, исполнителя или альбом.
  • Записывать к врачу или в салон красоты — для этого пользователю нужно точно указать, куда и когда он хочет записаться и что нужно сделать (аналог функции Google Duplex).
  • Отправлять переводы и пополнять мобильный счет.
  • Делать покупки — заказывать еду в «Самокате». В будущем будет поддержка Delivery Club.
  • Отвечать на вопросы и давать короткие справки.

Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.

Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.

Многие SmartApps можно создавать вообще без написания кода. У нас есть заранее приготовленные шаблоны и конструктор для тех, кто не хочет или не умеет программировать. Мы полностью открываем SmartMarket абсолютно для всех. Мы хотим, чтобы навык вашей компании тоже был на полках SmartMarket.

Давид Рафаловский, исполнительный вице-президент, руководитель блока «Технологии» «Сбербанка»

Как это работало на презентации

На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».

Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.

Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».

Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.

Пользователь может попросить рецепт блюда, и «Салют» покажет интерактивные карточки с каждым шагом приготовления и таймерами. Ответы на вопросы подкрепятся графикой

SberBox — приставка с видеошопингом

SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.

Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».

В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.

ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.

Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.

На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.

Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.

Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.

Внешний вид стика-накладки
Игра в хоккей с виртуальным геймпадом

Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.

По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».

Смарт-дисплей SberPortal с звонками в Telegram и распознаванием жестов

«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.

По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.

Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.

Колонка умеет «вилять хвостом», при этом колеблется динамик

Жесты и камера

Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.

SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:

  • V указательным и средним пальцем — активировать ассистент.
  • Большой палец вверх и вниз — для лайка и дислайка песне.
  • Раскрытая ладонь — приостановить и продолжить воспроизведение.
  • Палец к губам — отключить звук.

Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.

Моя любимая часть презентации Сбера https://t.co/bT2P5vXFOi

Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.

Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.

Белая версия — сбоку

Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.

Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.

SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.

Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.

Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.

Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.

Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.

0
62 комментария
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Nikolay Safronov

Да у нас дохрена IT-компаний: Касперский, Киви, Озон, МТС, Softline, Ростелеком и т.д., которые активно инвестируют. На рынке США много крупных IT-компаний? Не больше 10 штук насчитается, а у нас рынок в 30 раз меньше.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Vladimir Goncharov
ВВП одной только Калифорнии, живущей почти полностью за счет IT индустрии в 2 раза выше, чем ВВП всей России, живущей за счет нефтегазовой трубы, держу в курсе

Бвахахахахаха, только Калифорнии и только за счет IT ? 
Напоминаю, что там живет людей больше чем в России и находятся компании McKesson, Chevron, Visa, Disney, 20th Century Fox, Wells Fargo, Pacific Gas and Energy. Такие мелкие ненужные компашки, который всего лишь мультимиллиардерные био, фин, нефтяные и развлекательные корпорации по всему миру, ага.
Поздравляю вас соврамши, держу в курсе.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Vladimir Goncharov

Ну так это чистая неправда про "почти". Или Шеврон с Диснеем и мегафармой зарабатывают меньше Гугла ? Это не так, напоминаю. Гугл вообще 18 в списке доходов штата. Выше нефтянки и медиков только по доходам только Эппл, но это даже не треть ВВП штата, ай ай ай, какое несчастье.

39 млн
корпорации по всему миру

Агаггага, и собирают бабки с этих 39 млн, которые только делают это  вот все. Очнись, там тупо головные организации, которые сгребают бабло со всего мира. Но, конечно же, это трудолюбивые 39 млн делают, да. Нью Йорк, кстати рубит БОЛЬШЕ чем ЛА, за счет большего количества головных организацийв сравнении между городжами. Но это лишние факты. В схему не влазят, да ?
Ну и стоит напомнить про то, что Калифорния в лезла в долги аж на 11 миллиардов при падении нефти в 2008-20012, но как бы это все лишнее тоже. Че как Рашка то, да ? 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Vladimir Goncharov

Это вы тыкали в то, что де Калифорния живет на "почти" одно ИТ и имеет ВВП больше Россиюшки. Как оказалось нет. Вот такая ваша схема в которую фактики и не лезут. И доказывать проблемы Россиюшки негодными доказательствами из САСШ очень странно, если не сказать большего. Но негодность признать нельзя, надо быстренько вильнуть де тезис то тезис хороший! А доказательства можно любой негодности приложить, че там. Не напоминает ли политику Первого канала ?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
59 комментариев
Раскрывать всегда