Как мы придумали SberPortal и почему будущее за гаджетами с экранами

На осенней Сбер Конф, главной презентации уходящего года, Сбер показал сразу несколько умных устройств. Их сделали мы — команда SberDevices. О том, кто и как придумывает, создаёт и улучшает такие устройства, мы будем рассказывать в этом блоге. Начнём с рассказа про SberPortal — смарт-дисплей с голосовым управлением, мощной умной камерой, акустикой от Harman Kardon и другими фичами.

Почему мы сделали смарт-дисплей, а не очередную умную колонку

На старте у нас было несколько задач. Мы решили создать абсолютно новое для российского рынка устройство, которое смогло бы не только закрыть большую часть потребностей пользователя, но и удивить его. И мы задумались о том, как это будет выглядеть.

Рынок умных устройств растёт, количество предложений от крупных компаний и стартапов — тоже. Например, на российском рынке уже есть несколько достойных умных колонок. При этом визуальный канал восприятия информации для большинства людей всё ещё самый важный. Обычная умная колонка, в которой живёт виртуальный помощник, может слышать пользователя, отвечать ему и быть полезной — включать музыку, рассказывать о погоде за окном. Но для многих из нас отсутствие визуальной составляющей остаётся проблемой. Кому-то некомфортно не видеть плейлист, когда проигрывается музыка, а кто-то был бы рад заказать продукты к ужину с помощью голосовых команд, но не хочет этого делать, не оценив их внешний вид. Покупка товаров с помощью голосового управления — сложный кейс, и далеко не все компании смогли предложить удобный способ это делать.

И таких сценариев много. Поэтому мы решили поселить виртуальных ассистентов в умное устройство с экраном — смарт-дисплей. Это вполне логичный шаг — следующая ступень эволюции гаджетов, тренд, который хорошо отражает растущая популярность таких устройств на развитых рынках. Функциональность SberPortal за счёт наличия дисплея гораздо шире, чем у обычной умной колонки. Например, с его помощью можно заказывать товары и видеть при этом корзину, смотреть кино, играть в игры и общаться по видеосвязи. Да и традиционные «колоночные» сценарии стали удобнее.

Привычные функции там тоже есть. Конечно, наши виртуальные ассистенты (а их три — Сбер, Джой и Афина) могут рассказать о погоде, включить музыку или поставить таймер. И если умную колонку нужно подключать к телевизору, чтобы что-то увидеть, то смарт-дисплей — самостоятельное устройство.

Почему SberPortal именно такой

Мы хотели создать устройство, которое объединило бы в себе множество возможностей для удобной жизни и облегчило бы быт. Какие это возможности? Прежде всего — ассистенты семейства Салют, которые незаменимы и на кухне, и в спальне, и в детской. Дальше — проигрывание музыки. Но не компромиссное, а по-настоящему впечатляющее. Связь — чтобы оставаться в контакте с близкими и друзьями. А главное — управление. Оно должно быть удобным в разных ситуациях: когда вокруг шумно, если заняты руки или хочется полного контроля через тач-интерфейс. Поэтому SberPortal такой нетривиальный внешне — со всех сторон разный и при этом красивый и удобный.

SberPortal — сложное техническое устройство, и при этом полностью кастомное, то есть разработанное в SberDevices с нуля. Отдельные решения мы тоже разрабатывали с нуля: например, широкоугольную 4K AI-камеру. Во всех других устройствах этой категории таких мощных камер нет, но мы сознательно сделали её такой. Камеры, встроенные в смартфоны и другие устройства, не рассчитаны на продолжительную работу — пластиковые линзы мобильных камер нагреваются и временно деформируются, а это влияет на качество изображения. Нам хотелось создать девайс, который было бы удобно использовать для продолжительных видеозвонков, поэтому в камере совмещены пластиковые и стеклянные линзы и она может работать долго, если кому-то вдруг захочется общаться с друзьями по видео нон-стоп. Благодаря нейросетям мы реализовали технологию смарт-фокуса — во время видеозвонков камера может фокусироваться на пользователе, даже если он двигается. Если вы решили заняться, например, приготовлением еды во время видеозвонка, собеседник вас не потеряет из виду. Ещё камера может распознавать лицо владельца и его жесты.

Управление жестами — новинка для рынка, к которой пользователям предстоит привыкнуть. В некоторых устройствах такая функция есть уже сейчас, но обычно речь идёт об одном жесте, который запускает или останавливает какие-то процессы. У нас жестов несколько — например, жестом V («виктория») можно активировать виртуального ассистента. Показав камере открытую ладонь, пользователь может приостановить или продолжить воспроизведение контента. Это удобно, если вам, допустим, нужно срочно отвлечься на телефонный разговор. Или представьте: у вас дома проходит шумная вечеринка и играет песня, которая вам нравится, — необязательно прерывать беседу с друзьями и делать музыку потише, можно поднять вверх большой палец, а SberPortal распознает лайк и поймет, что трек нужно добавить в плейлист (показывать дизлайки также можно — их камера тоже распознает).

Ещё одно решение — матрица из шести микрофонов, которая способна определять источник речи, фокусироваться на нём и лучше «слышать». Матрицу мы разработали совместно с Fraunhofer IIS (Институтом интегральных схем общества Фраунгофера). Микрофоны очень чувствительны. Даже если пользователь обратится к Сберу, Джой или Афине с большого расстояния, виртуальный помощник среагирует и заговорит с ним. Технология вычитания собственного звука позволяет ассистенту услышать вас даже во время воспроизведения музыки или фильма, и не нужно повышать голос. А если вы используете больше одного SberPortal, можно в каждом из них выбрать своего ассистента и обращаться к ним по имени: «Джой, найди музыку для вечеринки» или «Афина, поставь таймер». Это называется мультиспоттер. Благодаря ему виртуальные помощники не помешают друг другу.

Кстати, акустическую систему для SberPortal разработала команда из Harman Kardon, а настраивать звук помогали японские инженеры. В основе системы — кастомный дизайн камеры с 70-миллиметровым широкополосным и 84-миллиметровым пассивным излучателями. Всё это позволяет выдавать глубокий бас, чистые верхние частоты и рассеивающийся на 360° звук — мы постарались сделать так, чтобы прослушивание музыки стало отдельным интересным опытом. А ещё в SberPortal установлено адаптированное под устройство приложение сервиса СберЗвук. Оно поддерживает формат воспроизведения треков, которые записаны без потери качества (такие композиции отмечены значком HQ). При создании таких треков используется кодек FLAC. Он не удаляет акустически значимой информации из аудиопотока и не приводит к ухудшению качества звучания музыкальных композиций.

Мы дали пользователям возможность управлять устройством несколькими способами — сделали тачскрин, голосовое управление и управление жестами. Это делает SberPortal универсальным устройством, с которым удобно взаимодействовать в разных ситуациях. Если хочется детально в чём-то разобраться, например, выбрать продукты к ужину, можно использовать тачскрин, если нужно запустить видео, не вставая с дивана, — голосовое управление, а жестом без лишних слов остановить воспроизведение музыки.

При этом и «зрение», и «слух» устройства можно отключить. Созданный именно для этого «колпачок» надевается на камеру и полностью её закрывает. Микрофоны можно отключить механически, нажав специальную кнопку. Так мы даём пользователям возможность обеспечить себе полную приватность.

Дизайн устройства разработан с нуля: нам хотелось, чтобы девайс не просто выполнял какие-то функции, но и украшал пространство. Мы сделали смарт-дисплей таким, чтобы он вписался в современный интерьер, и предоставили пользователям выбор, создав устройство в чёрном и белом цветах.

Как может (и будет) развиваться устройство с дисплеем

Разница в разработке хардверного и софтверного продукта состоит в том, что хардверный продукт переделать очень сложно. В случае со SberPortal мы продумывали каждую деталь: от размера дисплея до материала пассивного излучателя (он, кстати, необычный для таких задач – кевлар). Техническая начинка смарт-дисплея тоже получилась интересной: внутри у него мощные NPU (Neural Processing Unit, нейронный процессор) и GPU (графический процессор). NPU позволяет нам отрабатывать распознавание жестов локально на устройстве.

Технические особенности SberPortal дают нам почти бесконечные возможности для его развития. Смарт-дисплей уже сейчас можно использовать как полноценного домашнего помощника. Виртуальные ассистенты, живущие в нём, помогут оплатить мобильный или перевести маме деньги, записать вас в салон красоты или к доктору, найти смешное видео или нужный рецепт, просто поговорят с вами, а также помогут с решением многих других вопросов. Внутри SberPortal масса интересного: онлайн-кинотеатр Okko, стриминговый сервис СберЗвук, телеканалы, игры, возможность заказать продукты, а ещё — приложения, созданные нами и сторонними разработчиками (позднее мы расскажем, как создать своё!). В устройство без дисплея невозможно было бы добавить и половины этих функций и сервисов. Все производители умных гаджетов хотят сделать продукт максимально удобным, и экран, пожалуй, самый простой (при всей технической сложности) и элегантный способ этой цели достичь.

При этом SberPortal, разумеется, совместим со SberBox — ещё одним умным устройством, которое мы разработали и представили ранее. С помощью технологии SberCast можно начать смотреть телеканалы на смарт-дисплее, а продолжить — на большом экране телевизора. Для этого достаточно попросить виртуального ассистента включить ТВ на SberBox. Вообще все наши устройства, текущие и будущие, могут быть интегрированы между собой. О том, что это за устройства, мы расскажем в следующих материалах. А ещё поговорим о том, как мы создавали виртуальных ассистентов семейства Салют и какие технологии лежат в их основе.

0
114 комментариев
Написать комментарий...
Василь Васильев

А деньги на разработку взяли из наших украденных вкладов в 90-91?

Ответить
Развернуть ветку
Lifar Sk.

Самое время вспомнить! 30 лет прошло! 30 лет назад ведь греф и его комманда работала! Он лично воровал

Ответить
Развернуть ветку
11 комментариев
Евгений Смирнов

На летней Сбер Планерке Сбер Греф поставил Сбер Задачу для команды SberDevices.

На старте у нас было несколько задач. Мы решили создать абсолютно никому не нужное устройство, которое смогло бы не только ничего не делать, но и составить достойную конкуренцию другим бессмысленным девайсам Сбер Конкурентов.

Так у нас получился SberPortal — рамблер с голосовым управлением, мощной умной камерой, акустикой от Harman Kardon и другими не менее не нужными фичами.

Ответить
Развернуть ветку
Максим Голуб

Ого, Сбер придумал планшет!)
Наверное они немного опоздали, лет на 10.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Andrew Solovov

Больше на смарт тв похоже. Там тоже жесты, картинка. Тач скрин только отсутствует

Ответить
Развернуть ветку
Александр Антипов

Лет десять назад Сберу было не до планшетов. А вот сейчас когда деньги осели, все можно и думаю это только начало.

Ответить
Развернуть ветку
ВАНR

Зависло ¯\_(ツ)_/¯

Ответить
Развернуть ветку
Alexei Minaev

Скорее дизайнер завис, пока макет делал)

Ответить
Развернуть ветку
Денис Пешехонов

Яндекс.Станция продаётся плохо, потому что она дорогая, а понятных народу юзкейсов у неё мало. Умный дом установлен только у гиков, без него она нужна для музыки и чтобы детям играть, но тут подходят и другие решения: домашняя аудиосистема и телефон.

Amazon в этом смысле очень верно поступил, изначально запустив маркетинг именно вокруг колонки, а мобильное приложение Alexa было глубоко вторичным. Таким образом создалось пространство для появления юзкейсов и привыкания к ним, поэтому колонка Amazon опережает все остальные по продажам. Важно наоборот УВОДИТЬ пользователя от экрана, если вы хотите продать голосовое управление. Ловить его в те моменты, когда он взаимодействовать с экраном не может или не хочет. Потому что у экрана, как вы верно заметили, всегда будет преимущество по удобству ввода-вывода.

Пока что не очень понятно, в каких ситуациях нужен Портал, и при этом я не могу воспользоваться планшетом/телефоном. Как только появляется экран, ввод переходит на него. Голосовые помощники глупые и ненадёжные, людям лень вспоминать, какую именно команду нужно произнести. Пользователи телефонов раз в год используют Google Assistant или Siri, и то для специфических кейсов. Даже водители за рулём не всегда вводят в телефон что-то голосом при наличии такой возможности, потому что зачастую значительно быстрее тупо в кнопки потыкать. Я уж не говорю о ситуациях, когда руки и глаза свободны (а Портал подразумевает это).

А ваше устройство ещё и весьма дорогое. Так что, простите, пока что это или красивая рекламная вещь или игрушка для технофилов, а не массовый бизнес-девайс для широкого рынка.

Ответить
Развернуть ветку
Alexander Fedorchouk

Я не сказать, что технофил, и к колонке Яндекса относился со скепсисом, однако потом решил попробовать и — понравилось. В основном использую для музыки и мелких вопросов (скорее для развлечения, чем для пользы, хотя Алиса гораздо умнее Сири). При этом со временем понял, что не очень нравится качество звука (для фоновой музыки норм, для вечеринки — не очень) ну и голосовой интерфейс иногда тяготит. В этом смысле с оптимизмом смотрю на СберПортал: во-первых, как раз из-за более высокого качества звука (если я правильно понял, и оно тут будет выше), во-вторых, из-за того, что есть экран — а значит сильно расширяется функционал, в-третьих, очень вдохновляет возможность управлять устройством разными способами. В общем, хотелось бы почитать отзывы тех, кто реально попользовался.

Ответить
Развернуть ветку
5 комментариев
Влад Цыплухин
 Яндекс.Станция продаётся плохо

Подскажите свой источник данных.

Ответить
Развернуть ветку
3 комментария
S.Z
Как только появляется экран, ввод переходит на него.

Если амазон всё делает правильно, зачем они сделали хаб с экраном?

Ответить
Развернуть ветку
1 комментарий
Банан

Откуда сведения про то, что Станция продается плохо?
Она так "плохо" продается, что пришлось поднимать цены, когда во время карантина возникли проблемы с поставками

Ответить
Развернуть ветку
5 комментариев
Nikolay Belousov

Действительно уникальный продукт, а можете написать кем вы больше вдохновлялись - Amazon или Google?

Ответить
Развернуть ветку
Ruslan Dusaev

Но при всем этом создаётся Российская экосистема для разработчиков, Россия может делать хорошие продукты для мирового рынка, это просто первые шаги, да немного отстаём от рынка, пока хотя бы так, я вот жду когда Tesla запустит магазин приложений для сторонних разработчиков, вот в автомобилях Apple уже будет магазин приложений по умолчанию
В любом случае продукт получился достойный у Sberdevices

Ответить
Развернуть ветку
Ivan Susanin

Умом я понимаю, что все мировые корпорации следят за нами почище любого ФСБ. Но все равно российское устройство с микрофонами и камерой как-то особенно стремно дома ставить...

Ответить
Развернуть ветку
Максим Лялин

Страшному Путину очень важно, что Вы обсуждаете у себя на кухне, ага.

Ответить
Развернуть ветку
2 комментария
Денис Пешехонов

Специально для людей вроде вас они в комплекте (!) поставляют пластиковую крышечку на камеру :)

Ответить
Развернуть ветку
5 комментариев
Балкон.Ру
Мы решили создать абсолютно новое для российского рынка устройство, которое смогло бы не только закрыть большую часть потребностей пользователя, но и удивить его. И мы задумались о том, как это будет выглядеть.

Вот так

Ответить
Развернуть ветку
Anton Reut

А зачем такой здоровый зад? Хорошие динамики могут быть и плоскими

Ответить
Развернуть ветку
1 комментарий
Александра Базуткина

Это как флагманский смартфон, только в руках держать не надо. Интересно)

Ответить
Развернуть ветку
Ol Ka

Кому интересно? 🤭

Ответить
Развернуть ветку
3 комментария
Арнольд Валерьянович

Я вам сейчас скину айпад – это такие забытые технологии древних. Вот у вас там отвал башки вообще сразу случится.

Ответить
Развернуть ветку
1 комментарий
Sam Beckett

Честно говоря вообще не интересно

Ответить
Развернуть ветку
SL Potapenko

чубайсовщина какая-то

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Stanislav

Мертворожденная хрень

Ответить
Развернуть ветку
Irek Khasyanov

Facebook видимо позже придумал? :) https://portal.facebook.com

Ответить
Развернуть ветку
S.Z

А где сбер говорит что они первые что-то придумали?

Ответить
Развернуть ветку
2 комментария
Badumirocon

Расскажите про безопасность данных пользователей  (за которую никто ни разу не был наказан в России)  поржём 

Ответить
Развернуть ветку
Anton Reut

Расскажи про безопасность твоих данных в фейсбуке, гугле и эппл, которые Официально сливаются спецслужбам США. Поржём.

Ответить
Развернуть ветку
9 комментариев
DV

В целом гаджет выглядит интересно и перспективно.
На чём для него писать программы (андроид, шарп, ещё что-то)?

Ответить
Развернуть ветку
SberDevices
Автор

Кстати, есть молодое, но бодрое сообщество разработчиков смартапов (навыков) для ассистентов Салют: https://t.me/smartapp_studio. Там и команда SmartMarket оперативно отвечает на вопросы – заходите)

Ответить
Развернуть ветку
2 комментария
Александра Базуткина

Почитайте про SmartMarket и SmartApp Studio — там все инструменты разработки. Там же пишутся смартапы для виртуальный ассистентов Салют. 
https://developer.sberdevices.ru/

Ответить
Развернуть ветку
2 комментария
Stanislav Mydry

Кажется скоро умный дом можно будет собрать за три копейки

Ответить
Развернуть ветку
Full Name

уже давно можно.

Ответить
Развернуть ветку
3 комментария
xksvkvadrate

Сбер.Греф

Ответить
Развернуть ветку
Eugene Fox

И сбех, и греф

Ответить
Развернуть ветку
1 комментарий
Артем Богданов

"Энергитическая" ценность...

Ответить
Развернуть ветку
SberDevices
Автор

Артем, спасибо! Поправили)

Ответить
Развернуть ветку
Игорь Пугачев
почему будущее за гаджетами с экранами

Это консерва из 40-х? Передайте вашему футурологу что он угадал, у нас в будущем очень много гаджетов с экранами. Вы не поверите, но теперь даже у наручных часов и холодильника есть экран! Что такое холодильник вы уже должны знать?

Ответить
Развернуть ветку
Dr. Horrible

умная камера, умные часы, умная колонка, все умное. один ты тупой теперь 🤷‍♀️

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Anton Reut

Что помешало сделать нормальную встроенную камеру, а не ЭТО?... 
Джон Айв и другие ведущие пром-дизайнеры плачут кровавыми слезами глядя на это.

Ответить
Развернуть ветку
Василь Васильев

Все дело в том, что "сделано в Сбере" становится настоящим анти брендом! Почему так происходит, писал выше.

Ответить
Развернуть ветку
Банан

Резюме статьи - пытались скопировать Яндекс Станцию и добавить к ней изюминку в виде экрана. Экран добавили, а что с ними делать пока толком не придумали. Но в целом идея ок и хардварная реализация тоже ок.
Но вот стоит ли ставить дома устройство от Сбербанка с камерой и микрофоном - большой вопрос.

Ответить
Развернуть ветку
Василь Васильев

Конечно же, сберовские устройства не стоит ставить дома, совершенно с вами согласен. Сберовские устройства - дурной тон!

Ответить
Развернуть ветку
Ilya Lapenkov

Аааа, что я только что прочитал. Доводы для пенсионеров языком меллениалов: flac, хардверный, софтверный..  а по факту : проверить погоду, поставить таймер и включить музыку - я на телефоне это быстрее сделаю, если конечно салют не умеет выполнять набор последовательных команд (дарю идею)

Ответить
Развернуть ветку
Борис Б

Ну, есть, например, сценарий использования на кухне во время готовки. 
Когда разделываешь рыбу, в телефон грязными руками не полезешь, а вот попросить ассистента голосом поставить таймер или переключить трек - вполне.

Ответить
Развернуть ветку
4 комментария
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Andrey Selin

Вы получаете приз в категории сбер.естественная.ущербность

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Илья Ничупиенко

Мне кажется, это попытка сделать сири/алису для глухих. Если получится (по отклику от слабослышащей аудитории) — это будет реально большим прорывом. Инвалиды тоже хотят технологий.

Ответить
Развернуть ветку
Vadim Zlygastev

«Обычная умная колонка, в которой живёт виртуальный помощник, может слышать пользователя, отвечать ему и быть полезной — включать музыку, рассказывать о погоде за окном. Но для многих из нас отсутствие визуальной составляющей остаётся проблемой. Кому-то некомфортно не видеть плейлист, когда проигрывается музыка, а кто-то был бы рад заказать продукты к ужину с помощью голосовых команд, но не хочет этого делать, не оценив их внешний вид.»

Вот и ответ почему у Сбера получилась непонятная штука для непонятной ЦА. Когда человек покупает умную колонку (читай Алису), то он явно понимает, что это другой уровень взаимодействия. Он не должен ожидать, что там будет что-то показываться и прочее. Взаимодействие и все, что с ним связано тупо другое. Если человеку важна визуализация, то он покупает планшет, в котором будет взаимодействовать через экран. И не ожидает супер штук в плане голоса. Та же самая Алиса не заказывает еду, в Яндексе понимают, что еду люди хотят посмотреть перед покупкой, а не надеяться на голос. И поэтому этой функции (заказ Яндекс.Еды) нет в Алисе и вряд ли появится. Но если появится, то будет интересно как это будет работать. А Сбер делает планшет с голосом, и нет чёткого понимания как это должно работать и для кого конкретно. Хочешь тебе то и хочешь это. Но с ЦА явно пробел есть. Вот и весь подход. Яндекс делает расчёт на конкретных юзеров. Сбер делает для всех, но как будто для галочки. Я лично за Яндекс) P. S. Не фанат Яндекса если что)

Ответить
Развернуть ветку
Ilya Konovalov

Зато скока бабла вилсакому заплатили, чтобы он облизал это дерьмо. Даже на презентациях оно виснет и глючит. Не позортесь!

Ответить
Развернуть ветку
Херня Всё

Когда голосовой помощник справится с командой "позвони в вотсапе внуку"? 

Ответить
Развернуть ветку
Василь Васильев

Итак

Ответить
Развернуть ветку
Mike Tikhonov

Жесть, зашквар какой, испанский стыд. Я его слепила из того что было. Дизайн - просто монстр, наверное под тренд 2020 года))
Первая мысль когда увидел этот продукт:
главной задачей создателей было (наверное эффективных менеджеров) - освоить как-то выделенный бюджет...
Иначе не объяснить, как такое сотворить можно было.

Ответить
Развернуть ветку
111 комментариев
Раскрывать всегда