{"id":14262,"url":"\/distributions\/14262\/click?bit=1&hash=8ff33b918bfe3f5206b0198c93dd25bdafcdc76b2eaa61d9664863bd76247e56","title":"\u041f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u0435 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438\u043d\u043d\u043e\u0432\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0434\u043e 1,5 \u043c\u043b\u043d \u0440\u0443\u0431\u043b\u0435\u0439","buttonText":"\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435","imageUuid":"726c984a-5b07-5c75-81f7-6664571134e6"}

Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают Статьи редакции

Подробности работы и короткие заметки с закрытой демонстрации.

24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».

Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».

Презентация «Салюта»

«Салют»

«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.

Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:

  1. «Сбер» — интеллигентный.
  2. «Джой» — жизнерадостная.
  3. «Афина» — «педантичная и начитанная», боле строгая, чем «Джой».

Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.

Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.

Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:

  • Включать и управлять музыкой «СберЗвука» и библиотекой Okko. Помощник распознает русскую и английскую речь, ставит лайки и дизлайки для улучшения рекомендаций, ищет нужную песню, исполнителя или альбом.
  • Записывать к врачу или в салон красоты — для этого пользователю нужно точно указать, куда и когда он хочет записаться и что нужно сделать (аналог функции Google Duplex).
  • Отправлять переводы и пополнять мобильный счет.
  • Делать покупки — заказывать еду в «Самокате». В будущем будет поддержка Delivery Club.
  • Отвечать на вопросы и давать короткие справки.

Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.

Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.

Многие SmartApps можно создавать вообще без написания кода. У нас есть заранее приготовленные шаблоны и конструктор для тех, кто не хочет или не умеет программировать. Мы полностью открываем SmartMarket абсолютно для всех. Мы хотим, чтобы навык вашей компании тоже был на полках SmartMarket.

Давид Рафаловский, исполнительный вице-президент, руководитель блока «Технологии» «Сбербанка»

Как это работало на презентации

На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».

Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.

Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».

Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.

Пользователь может попросить рецепт блюда, и «Салют» покажет интерактивные карточки с каждым шагом приготовления и таймерами. Ответы на вопросы подкрепятся графикой

SberBox — приставка с видеошопингом

SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.

Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».

В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.

ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.

Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.

На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.

Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.

Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.

Внешний вид стика-накладки
Игра в хоккей с виртуальным геймпадом

Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.

По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».

Смарт-дисплей SberPortal с звонками в Telegram и распознаванием жестов

«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.

По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.

Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.

Колонка умеет «вилять хвостом», при этом колеблется динамик

Жесты и камера

Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.

SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:

  • V указательным и средним пальцем — активировать ассистент.
  • Большой палец вверх и вниз — для лайка и дислайка песне.
  • Раскрытая ладонь — приостановить и продолжить воспроизведение.
  • Палец к губам — отключить звук.

Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.

Моя любимая часть презентации Сбера https://t.co/bT2P5vXFOi

Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.

Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.

Белая версия — сбоку

Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.

Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.

SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.

Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.

Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.

Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.

Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.

0
62 комментария
Написать комментарий...
Sabit Sugirov

Бесполезное устройство. Удобнее смартфона пока ничего не придумали.

Ответить
Развернуть ветку
Миша Патрон

Сабит, ты за всех решил что бесполезное? Нет чтобы написать «мне оно не нужно» или  «мне хватает телефона вместо телевизора, планшета, колонки, голосовой станции».
Я вот пользуюсь Яндекс станцией, это мне удобно ,и вообще даже мысли не приходит сравнить с смартфоном , но экрана реально не хватает. С экраном столько функций появляется. 
Посмотрел комменты , одна чернуха, очень неприятно это видеть, как будто обсуждение читалей желтой прессы.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
59 комментариев
Раскрывать всегда