Конкурс по машинному обучению
С призовым фондом в 100 млн рублей
Условия
Рубрика развивается при поддержке HP logo

Впечатления от помощника и первых устройств «Сбера»: что они могут и как работают Материал редакции

Подробности работы и короткие заметки с закрытой демонстрации.

В закладки

24 сентября подразделение «СберДевайсы» представило два «умных» устройства «Сбера»: ТВ-приставку SberBox и смарт-дисплей SberPortal с акустикой от Harman/Kardon и управлением голосом и жестами. В них интегрирован виртуальный помощник «Салют».

Это первые устройства «СберДевайсов», выпущенные под брендом Sber, — ранее компания выпустила приставку Okko Smart Box и разрабатывала устройства для внутренних нужд «Сбера».

Презентация «Салюта»

«Салют»

«Салют» — виртуальный голосовой ассистент «Сбера», интегрированный в «умные» устройства компании, «Сбербанк Онлайн» и приложение «Сбер Салют». Кроме собственных устройств, «Салют» интегрируют в продукты партнёров — первым стал Honor.

Пользователь выбирает для себя подходящую «личность» ассистента, у каждой своя манера общения:

  1. «Сбер» — интеллигентный.
  2. «Джой» — жизнерадостная.
  3. «Афина» — «педантичная и начитанная», боле строгая, чем «Джой».

Разработчики называют их «персонажами первого плана». Потом появятся «второстепенные» тематические персонажи — например, финансовый консультант. Они могут быть брендированными.

Основные помощники будут предлагать второстепенных для точечных услуг. Таким образом «Сбер» разграничивает персональных помощников: персонажи «первого плана» не будут продавать или навязывать услуги, их позиционируют как личности, близкие к человеку. Им можно «доверить» выбор, они посоветуют, где получить ту или иную услугу.

Ассистент вызывается командой «Салют!». Он выполняет не только базовые команды: установить таймер, поддержать диалог, рассказать о погоде. Ещё он умеет:

  • Включать и управлять музыкой «СберЗвука» и библиотекой Okko. Помощник распознает русскую и английскую речь, ставит лайки и дизлайки для улучшения рекомендаций, ищет нужную песню, исполнителя или альбом.
  • Записывать к врачу или в салон красоты — для этого пользователю нужно точно указать, куда и когда он хочет записаться и что нужно сделать (аналог функции Google Duplex).
  • Отправлять переводы и пополнять мобильный счет.
  • Делать покупки — заказывать еду в «Самокате». В будущем будет поддержка Delivery Club.
  • Отвечать на вопросы и давать короткие справки.

Помощник адаптируется под формат устройства: в «Сбербанке Онлайн» он оптимизирован под работу с финансами, в SberBox и SberPortal учитывает наличие экрана, расширяющего возможности.

Для «Салюта» есть собственный магазин приложений SmartMarket, в котором разработчики могут размещать навыки для ассистента — они будут называться SmartApps.

Многие SmartApps можно создавать вообще без написания кода. У нас есть заранее приготовленные шаблоны и конструктор для тех, кто не хочет или не умеет программировать. Мы полностью открываем SmartMarket абсолютно для всех. Мы хотим, чтобы навык вашей компании тоже был на полках SmartMarket.

Давид Рафаловский
исполнительный вице-президент, руководитель блока «Технологии» «Сбербанка»

Как это работало на презентации

На демонстрации аудиосервисов «Салют» распознал практически все запросы зарубежных исполнителей., в которых была комбинация русских и английских слов. Можно активировать текст песни во время воспроизведения командой «Салют, покажи текст».

Поиск исполнителей, фильмов, актеров, рецептов и другие голосовые информационные запросы «Салют» распознавал точно.

Возможность онлайн-записи в салоны пока показали только в записи. На демонстрации разработчики рассказали про пошаговое заполнение «формы» для помощника и продемонстрировали запись «разговора с оператором салона красоты».

Во время презентации «Сбер Конф» показали ту же запись — с оператором «общался» помощник от имени Кристины Асмус.

Пользователь может попросить рецепт блюда, и «Салют» покажет интерактивные карточки с каждым шагом приготовления и таймерами. Ответы на вопросы подкрепятся графикой

SberBox — приставка с видеошопингом

SberBox — «умная» ТВ-приставка с «Салютом». Она подключается к телевизору через HDMI и управляется с помощью кнопок пульта или голосом — через микрофон в пульте.

Пользователи получают доступ к онлайн-кинотеатру Okko и YouTube, музыкальному сервису «СберЗвук», 185 телеканалам через партнёра «Смотрёшка».

В SberBox и других устройствах «Сбера» с экраном есть функция покупок во время просмотра фильмов.

ИИ распознает происходящее на экране и предлагает пользователю купить одежду героев фильма, подобрав оригинал или альтернативу в магазинах-партнёрах. Зритель может выбрать понравившуюся одежду, отсканировать с экрана QR-код и попасть на страницу товара.

Также пользователь может купить тематические сувениры или оформить авиабилеты в город, в котором происходит действие фильма. Во время демо-показа «Венома» можно было купить футболки, игрушки и другие товары с главным героем. В будущем появятся товары для дома и еда.

На презентации «Салют» попросили заказать попкорн, помощник предложил доставку через «Самокат». Оплата — через QR-код и SberPay. «Сбер» зарабатывает на комиссии за каждую совершенную покупку на сайте партнера.

Среди партнёров «Сбера» — Lamoda, Ozon, Asos, S7 и Book24.

Другая особенность SberBox — поддержка виртуального геймпада через мобильное приложение «Салют». В комплекте с приставкой идут два стика-накладки. Они крепятся на смартфон и заменяют виртуальные.

Внешний вид стика-накладки
Игра в хоккей с виртуальным геймпадом

Также «СберДевайсы» разработали технологию SberCast для передачи данных между устройствами экосистемы «Сбера». Например, можно переключить просмотр фильма с ТВ-приставки на смарт-дисплей.

По предзаказу стоимость SmartBox — 2990 рублей, обычная цена — 3490 рублей. В комплекте с приставкой пользователи получат месяц подписки на Okko «Оптимум», «Смотрёшку» и «СберЗвук».

Смарт-дисплей SberPortal с звонками в Telegram и распознаванием жестов

«Умная» колонка с десятидюймовым сенсорным FullHD-экраном, акустикой от Harman/Kardon, управлением жестами и видеозвонками через широкоугольную 4К-камеру. Поддерживаются все функции SberBox.

По словам команды «СберДевайсов», это премиальное устройство, которое продемонстрирует все возможности платформы с «Салютом». Разработчики говорят, что особое внимание уделили распознаванию жестов, качеству звука и работе камеры.

Внутри аудиосистемы Harman/Kardon 70-мм широкополосный динамик, 84-мм пассивный динамик и ЦАП. Звук обрабатывается устройством и одинаково распространяется на 360 градусов вокруг него, отмечают создатели. Мощность системы — 30 Вт.

Колонка умеет «вилять хвостом», при этом колеблется динамик

Жесты и камера

Интерфейс SberPortal оптимизирован для управления голосом и жестами, поддерживается тачскрин. Микрофон отключается аппаратно, через кнопку на устройстве.

SberPortal понимает базовые жесты, управление реализовано совместно с компанией VisionLabs, входящей в экосистему «Сберба»:

  • V указательным и средним пальцем — активировать ассистент.
  • Большой палец вверх и вниз — для лайка и дислайка песне.
  • Раскрытая ладонь — приостановить и продолжить воспроизведение.
  • Палец к губам — отключить звук.

Жестами можно управлять в играх и приложениях, поддерживается распознавание скелета пользователя. На демонстрации команда «СберДевайсов» показала собственный проект Beat Dancer, в котором нужно танцевать в такт музыке и жестами наводить руки на объекты, чтобы зарабатывать очки.

Моя любимая часть презентации Сбера https://t.co/bT2P5vXFOi

Распознавание жестов при управлении музыкой происходило корректно и с первого раза — задержка между жестом и выполнением команды была не более секунды.

Камера SberPortal распознаёт объекты и людей. Одно из применений — образовательные приложения для детей, разработанные совместно с партнёрами.

Белая версия — сбоку

Во время демонстрации разработчики установили на объектив специальное зеркало, с помощью которого камера распознавала карточки с буквами английского алфавита. Приложение проверяло, правильно ли пользователь составил слово. Работало и распознавание изображений на карточках.

Владельцев устройство распознаёт по лицу — для персональных рекомендаций и подтверждения оплаты.

SberPortal отслеживает человека в кадре во время видеозвонков, чтобы говорящий оставался в центре, перемещаясь по комнате. Также смарт-дисплей понимает, когда перед объективом находятся несколько человек: объединяет их профили и старается сфокусироваться на всех сразу.

Есть функция совместного просмотра из Okko. Пользователи делятся ссылками на фильмы, активируют камеры и общаются, одновременно просматривая видео. Звук и изображение фильма идут синхронно у обоих пользователей, речь помощника фильтруется и не мешает просмотру.

Видеосвязь обеспечивает собственная платформа «Сбера», ещё можно позвонить пользователю в Telegram.

Обработка видео и жестов происходит на нейропроцессоре — собственной разработке «СберДевайсов». Данные обработки не отправляются в облако, утверждают разработчики.

Устройство поступит в продажу до конца 2020 года. Цена пока обсуждается.

{ "author_name": "Евгений Делюкин", "author_type": "editor", "tags": ["\u0441\u0431\u0435\u0440\u0431\u0430\u043d\u043a","\u0441\u0431\u0435\u0440","sberportal","sberbox"], "comments": 61, "likes": 10, "favorites": 25, "is_advertisement": false, "subsite_label": "tech", "id": 161053, "is_wide": false, "is_ugc": false, "date": "Thu, 24 Sep 2020 12:53:21 +0300", "is_special": false }
Создан для будущего Узнайте больше HP Neverstop Laser HP Neverstop Laser
Объявление на vc.ru
0
61 комментарий
Популярные
По порядку
Написать комментарий...
–9

КРИНЖ

Ответить
44

Даже не знаю, что хуже: презентация сбера или люди, которые в каждую дырку пытаются вставить слово «КРИНЖ».

Ответить
–9

да ты вообще много чего не знаешь)

Ответить
0

Да знает он. На самом деле устройства Сбера не так плохи по сравнении с тем, как отдельные юные интеллектуалы уподобляются Эллочке-людоедке из 12 стульев, у которой словарный запас  30 слов. "Мрак", "жуть", "хо-хо!". А теперь вот импортное "кринж". Самое забавное, что люди воспроизводящие подобный фонетический набор, считают это чем-то продвинутым и модным.  Кринж! И все вокруг попадали...
Же не манж па сис жур, парниша!

Ответить
0

это было постирония, чувак
про продвинутость и модность мне не надо рассказывать
я сам про это рассказываю)

Ответить
0

[я сам про это рассказываю]
Угу, чукча - не читатель, чукча - писатель. :))

Ответить
1

А тут где кринж, я про устройства

Ответить
1

В презентации кринж, в пафосности и закосом под WWDC 2020.

Ответить
0

Пост про устройства, коммент про устройства

Презентация кринж

Ответить
0

Видео в посте же нет, ну

Ответить
16

 Колонка умеет «вилять хвостом», при этом колеблется динамик

Ля, топ

Ответить
11

Ещё он умеет:

Отправлять переводы и пополнять мобильный счет

Брать кредит

Ответить
5

Всё что показал Сбер, разработано китайцами и просто брендировано. Смешно слышать название SberDevice, когда в стране ничего не производят.
Сбербанк сегодня присутствует как в Яндекс, так и в Mail.Ru, а буквально несколько лет назад глава центробанка признала, что они не знают, куда деть этого монстра и что с ним делать, в итоге мы наблюдаем картинку пустой растраты средств на нелепые покупки и попытку скрестить тёплое с мягким.
Какой смысл вкладывать деньги в ребрендинг на закате традиционного банкинга, когда платежи и хранение денежных средств перейдут в телеком? А что у Сбера с телеком? - Виртуальный оператор на базе Ростелекома (привет ВТБ)
Жаль, что в этой стране нет смертной казни, поскольку Греф со своим языком подлизывающим яйца Huawei на конференциях, достоин только такого финала.
Ну а я с вами прощаюсь, уважаемые читатели vc.ru и желаю успехов в комментаторской деятельности.

Ответить
3

Ну пока 👋

Ответить
3

Ну набрали кучу народу в сбертех, и инкубаторы, вот да высрали

Ответить
1

[Всё что показал Сбер, разработано китайцами и просто брендировано. ]
Ссылку на китайскую разработку до брендирования.

[когда в стране ничего не производят.]
Хватит врать. Не нам - себе.
По объемам промышленного производства Россия занимает 1 место в Европе и шестое в мире.

Ну, а то, что лично ты потребляешь только импорт, это факт только твоей биографии. Если ты хочешь менять свою будущую пенсию на импортные гаджеты - флаг в руки. Бери Сяоми вместо Сбера, кушай Альпен Голд вместо Априори, покупай Тайд вместо Лоска, чисти зубы АкваФрешем вместо Жемчуга, покупай холодильник Стинол вместо Бирюсы, РеноЛоган вместо УАЗ или Ладв Калина. А потом можно с чистой совесть орать, что в стране ничего не производят. А когда российские предприятия обанкротятся (как например недавно предприятие по производству холодильников Саратов) при отсутствии спроса, можно поорать, что это лично Путин их развалил.

[Ну а я с вами прощаюсь, уважаемые читатели vc.ru и желаю успехов в комментаторской деятельности.]

Какой резкий поворот со сменой профиля.  Решили найти время свой гаджет разработать?  Или здоровьем заняться? Успехов в любом случае.

Ответить
9

Заходят как-то Алиса, Олег и Маруся в бар, а там Салют!

Ответить
8

Сбер завещание - мы все решили за Вас!

Ответить
8

Впечатления от помощника и первых устройств «Сбера»

А где впечатления-то? Статья почти полностью переписывает презентацию сбера и почти ничего не говорит о впечатлениях от работы устройств и сервисов.

Ответить
–5

Китайский нонейм на AOSP со сберовским говнософтом.

Спасибо, не надо.

Ответить
16

Ох уж эти китайские ноунеймы с harman/kardon

Ответить
2

Ох уж этот harman/kardon после продажи samsung

Ответить
0

В планшетах хуавей уже было

Ответить
0

[Китайский нонейм на AOSP]
Спасибо за экспертную оценку.
Ссылку на китайский нонейм можно? А чего-то на Алике не найду.

Ответить
7

"«Сбер» — интеллигентный.
«Джой» — жизнерадостная.
«Афина» — «педантичная и начитанная», боле строгая, чем «Джой»."

не хватает еще Зины- вечно недовольной женщины средних лет, которая будет перманентно ненавидеть вас

Ответить
0

И Гали, которая умеет отменять покупки на кассе.

Ответить
6

Добро пожаловать в киберпанк. Выберите фракцию – яндекс, сбер, майл ру. Не волнуйтесь, все фракции на 100% принадлежат государству, как и твоя жизнь, твоя свобода и твои деньги. 

Ответить
1

Да у нас дохрена IT-компаний: Касперский, Киви, Озон, МТС, Softline, Ростелеком и т.д., которые активно инвестируют. На рынке США много крупных IT-компаний? Не больше 10 штук насчитается, а у нас рынок в 30 раз меньше.

Ответить
–1

У кого "у нас"? Касперский себя сам скамнул связями с Путиным и Ко и абсолютно правильно попал под санкции.

Киви не конкурент даже яндекс деньгам, а рокетбанк и точка были пустой тратой денег, это скамнувшиеся банки.

Озон? С доставкой дороже товара в регионах? Смешно. А в МСК и СПб он нахер не нужен никому.

Кто такой этот softline?

МТС и Ростелеком – полностью государственные компании.

ВВП одной только Калифорнии, живущей почти полностью за счет IT индустрии в 2 раза выше, чем ВВП всей России, живущей за счет нефтегазовой трубы, держу в курсе.

В США рынок больше рынка РФ всего в 2,5 раза, держу в курсе. 328 миллионов и 140.

Ответить
2

В США рынок больше рынка РФ всего в 2,5 раза, держу в курсе. 328 миллионов и 140.

Потрясающе... Вы на VC с 2014 года и до сих пор не в курсе, что объём рынка считают не в пользователях, а в деньгах?

Ответить
0

Ну так а кто виноват, что денег у наших 140 миллионов нет? Я прекрасно знаю, как считают объем рынка.

Ответить
0

ВВП одной только Калифорнии, живущей почти полностью за счет IT индустрии в 2 раза выше, чем ВВП всей России, живущей за счет нефтегазовой трубы, держу в курсе

Бвахахахахаха, только Калифорнии и только за счет IT ? 
Напоминаю, что там живет людей больше чем в России и находятся компании McKesson, Chevron, Visa, Disney, 20th Century Fox, Wells Fargo, Pacific Gas and Energy. Такие мелкие ненужные компашки, который всего лишь мультимиллиардерные био, фин, нефтяные и развлекательные корпорации по всему миру, ага.
Поздравляю вас соврамши, держу в курсе.

Ответить
0

Эмм. В Калифорнии 39 миллионов живет. В РФ 140. Держу в курсе.

Там написано «почти полностью», а не «только».

Ответить
1

Ну так это чистая неправда про "почти". Или Шеврон с Диснеем и мегафармой зарабатывают меньше Гугла ? Это не так, напоминаю. Гугл вообще 18 в списке доходов штата. Выше нефтянки и медиков только по доходам только Эппл, но это даже не треть ВВП штата, ай ай ай, какое несчастье.
39 млн

корпорации по всему миру

Агаггага, и собирают бабки с этих 39 млн, которые только делают это  вот все. Очнись, там тупо головные организации, которые сгребают бабло со всего мира. Но, конечно же, это трудолюбивые 39 млн делают, да. Нью Йорк, кстати рубит БОЛЬШЕ чем ЛА, за счет большего количества головных организацийв сравнении между городжами. Но это лишние факты. В схему не влазят, да ?
Ну и стоит напомнить про то, что Калифорния в лезла в долги аж на 11 миллиардов при падении нефти в 2008-20012, но как бы это все лишнее тоже. Че как Рашка то, да ? 

Ответить
0

В какую "схему" что у вас не влазит? В чем заключается ваш довод и что вы пытаетесь мне доказать? Можно сколько угодно тыкать в хуевую финансовую политику штата Калифорния, но от этого уровень жизни и уровень предпринимательства в России не повышается.

Ответить
0

Это вы тыкали в то, что де Калифорния живет на "почти" одно ИТ и имеет ВВП больше Россиюшки. Как оказалось нет. Вот такая ваша схема в которую фактики и не лезут. И доказывать проблемы Россиюшки негодными доказательствами из САСШ очень странно, если не сказать большего. Но негодность признать нельзя, надо быстренько вильнуть де тезис то тезис хороший! А доказательства можно любой негодности приложить, че там. Не напоминает ли политику Первого канала ?

Ответить
0

Разница только в том, что первый канал деньги из бюджета получает, а я не получаю. Ни копейки. Ни копейки! Ни одной ебаной копейки

Ответить
3

SberBox это ПОЛНАЯ копия Okko Smart Box, только с модифицированным лаунчером?

Ответить
6

Судя по всему, т.к. Okko Smart Box разрабатывала именно команда Sber Devices

Ответить
1

была же дискуссия на эту тему. это китайский медаплеер с местной прошивкой. даже ссылку на алик как-то скидывали. да и сбер бокс это и так окко смарт бокс, потому что сбер подобрал под себя окко.

Ответить
0

А вы думали чисто российская разработка? Поскреби наклейку, увидишь хуавей

Ответить
1

я-то как раз не думал

Ответить
4

Молодцы!

Ответить
3

Блять, мне от Сбера не дилдаки с нейросетями нужны, а TOTP токен чтобы не быть привязанным к мобильнику. Когда уже блять? Технология 20 летней давности.

Ответить
1

Художественные приемы распознает?

Ответить
6

Например гиперболу и синекдоху?

Ответить
1

Приложение обновилось, но салюта не появилось.

Ответить
0

На презентации говорили, что будут раскатывать постепенно

Ответить
0

На сайте об этом ни слова)

Ответить
1

В чейнджлоге есть, кстати

Ответить

Комментарий удален

0

девайс портал надо раздавать бесплатно. ведь за вас решат где и что купить, как работать, куда и как поехать и где отдохнуть и какой контент потреблять и знают сколько вы на все это готовы потратить. а значит вам можно предложить партнеров, которые сберу принесут хорошую прибыть от комиссий. а то вы раньше с промокодами ради скидок мучались. новая версия скоро будет это сберпортал 2. в виде ошейника. очень удобно. не потеряется, надевается один раз и навсегда. никакие больше устройства покупать уже не надо - выгодно. проследит за эффективностью вашей работы, наладит постоянный контакт со всеми близкими и коллегами. все ради вашей безопасности. 

Ответить
0

Тогда горизонт планирования окупаемости должен быть такой, что ни один менеджер там такой себе не позволит.

Ответить
0

производить сберошейник будут другие работники, которые носят сберошейник. 

Ответить
0

Нативочка подъехала

Ответить
0

Бесполезное устройство. Удобнее смартфона пока ничего не придумали.

Ответить
0

Сабит, ты за всех решил что бесполезное? Нет чтобы написать «мне оно не нужно» или  «мне хватает телефона вместо телевизора, планшета, колонки, голосовой станции».
Я вот пользуюсь Яндекс станцией, это мне удобно ,и вообще даже мысли не приходит сравнить с смартфоном , но экрана реально не хватает. С экраном столько функций появляется. 
Посмотрел комменты , одна чернуха, очень неприятно это видеть, как будто обсуждение читалей желтой прессы.

Ответить
0

Все что я пишу это мое личное мнение. С чего вы решили что я говорю за всех?

Ответить
0

Такое устройство не возьмешь с собой, оно должно стоять в одном определенном месте (кухня или гостиная). Это два больших минуса. 

Ответить
0

Не обращайте внимания, это местный дурачок. Он сначала пишет, потом не думает :)

Ответить
0

если уж следовать поветрию латинизации
оценим правильно всё выше перечисленное - Сакс или Щит )))

это всё что нужно знать о инициативах сбера лезть в другие темы, делать ребрендинг не поменяв суть, методы и подход к работе с клиентами.

Ответить
0

Я до сих пор не вдупляю что такое сбер портал и кому оно вообще надо

Ответить

Комментарии

{"hash":"34ec1681","params":{"id":"avl94kmUSRU","service":2,"title":"\u041d\u043e\u0432\u044b\u0439 \u00ab\u0411\u0438\u0442\u0440\u0438\u043a\u044124\u00bb","isLegacy":true}}