Как мы придумали SberPortal и почему будущее за гаджетами с экранами
На осенней Сбер Конф, главной презентации уходящего года, Сбер показал сразу несколько умных устройств. Их сделали мы — команда SberDevices. О том, кто и как придумывает, создаёт и улучшает такие устройства, мы будем рассказывать в этом блоге. Начнём с рассказа про SberPortal — смарт-дисплей с голосовым управлением, мощной умной камерой, акустикой от Harman Kardon и другими фичами.
Почему мы сделали смарт-дисплей, а не очередную умную колонку
На старте у нас было несколько задач. Мы решили создать абсолютно новое для российского рынка устройство, которое смогло бы не только закрыть большую часть потребностей пользователя, но и удивить его. И мы задумались о том, как это будет выглядеть.
Рынок умных устройств растёт, количество предложений от крупных компаний и стартапов — тоже. Например, на российском рынке уже есть несколько достойных умных колонок. При этом визуальный канал восприятия информации для большинства людей всё ещё самый важный. Обычная умная колонка, в которой живёт виртуальный помощник, может слышать пользователя, отвечать ему и быть полезной — включать музыку, рассказывать о погоде за окном. Но для многих из нас отсутствие визуальной составляющей остаётся проблемой. Кому-то некомфортно не видеть плейлист, когда проигрывается музыка, а кто-то был бы рад заказать продукты к ужину с помощью голосовых команд, но не хочет этого делать, не оценив их внешний вид. Покупка товаров с помощью голосового управления — сложный кейс, и далеко не все компании смогли предложить удобный способ это делать.
И таких сценариев много. Поэтому мы решили поселить виртуальных ассистентов в умное устройство с экраном — смарт-дисплей. Это вполне логичный шаг — следующая ступень эволюции гаджетов, тренд, который хорошо отражает растущая популярность таких устройств на развитых рынках. Функциональность SberPortal за счёт наличия дисплея гораздо шире, чем у обычной умной колонки. Например, с его помощью можно заказывать товары и видеть при этом корзину, смотреть кино, играть в игры и общаться по видеосвязи. Да и традиционные «колоночные» сценарии стали удобнее.
Привычные функции там тоже есть. Конечно, наши виртуальные ассистенты (а их три — Сбер, Джой и Афина) могут рассказать о погоде, включить музыку или поставить таймер. И если умную колонку нужно подключать к телевизору, чтобы что-то увидеть, то смарт-дисплей — самостоятельное устройство.
Почему SberPortal именно такой
Мы хотели создать устройство, которое объединило бы в себе множество возможностей для удобной жизни и облегчило бы быт. Какие это возможности? Прежде всего — ассистенты семейства Салют, которые незаменимы и на кухне, и в спальне, и в детской. Дальше — проигрывание музыки. Но не компромиссное, а по-настоящему впечатляющее. Связь — чтобы оставаться в контакте с близкими и друзьями. А главное — управление. Оно должно быть удобным в разных ситуациях: когда вокруг шумно, если заняты руки или хочется полного контроля через тач-интерфейс. Поэтому SberPortal такой нетривиальный внешне — со всех сторон разный и при этом красивый и удобный.
SberPortal — сложное техническое устройство, и при этом полностью кастомное, то есть разработанное в SberDevices с нуля. Отдельные решения мы тоже разрабатывали с нуля: например, широкоугольную 4K AI-камеру. Во всех других устройствах этой категории таких мощных камер нет, но мы сознательно сделали её такой. Камеры, встроенные в смартфоны и другие устройства, не рассчитаны на продолжительную работу — пластиковые линзы мобильных камер нагреваются и временно деформируются, а это влияет на качество изображения. Нам хотелось создать девайс, который было бы удобно использовать для продолжительных видеозвонков, поэтому в камере совмещены пластиковые и стеклянные линзы и она может работать долго, если кому-то вдруг захочется общаться с друзьями по видео нон-стоп. Благодаря нейросетям мы реализовали технологию смарт-фокуса — во время видеозвонков камера может фокусироваться на пользователе, даже если он двигается. Если вы решили заняться, например, приготовлением еды во время видеозвонка, собеседник вас не потеряет из виду. Ещё камера может распознавать лицо владельца и его жесты.
Управление жестами — новинка для рынка, к которой пользователям предстоит привыкнуть. В некоторых устройствах такая функция есть уже сейчас, но обычно речь идёт об одном жесте, который запускает или останавливает какие-то процессы. У нас жестов несколько — например, жестом V («виктория») можно активировать виртуального ассистента. Показав камере открытую ладонь, пользователь может приостановить или продолжить воспроизведение контента. Это удобно, если вам, допустим, нужно срочно отвлечься на телефонный разговор. Или представьте: у вас дома проходит шумная вечеринка и играет песня, которая вам нравится, — необязательно прерывать беседу с друзьями и делать музыку потише, можно поднять вверх большой палец, а SberPortal распознает лайк и поймет, что трек нужно добавить в плейлист (показывать дизлайки также можно — их камера тоже распознает).
Ещё одно решение — матрица из шести микрофонов, которая способна определять источник речи, фокусироваться на нём и лучше «слышать». Матрицу мы разработали совместно с Fraunhofer IIS (Институтом интегральных схем общества Фраунгофера). Микрофоны очень чувствительны. Даже если пользователь обратится к Сберу, Джой или Афине с большого расстояния, виртуальный помощник среагирует и заговорит с ним. Технология вычитания собственного звука позволяет ассистенту услышать вас даже во время воспроизведения музыки или фильма, и не нужно повышать голос. А если вы используете больше одного SberPortal, можно в каждом из них выбрать своего ассистента и обращаться к ним по имени: «Джой, найди музыку для вечеринки» или «Афина, поставь таймер». Это называется мультиспоттер. Благодаря ему виртуальные помощники не помешают друг другу.
Кстати, акустическую систему для SberPortal разработала команда из Harman Kardon, а настраивать звук помогали японские инженеры. В основе системы — кастомный дизайн камеры с 70-миллиметровым широкополосным и 84-миллиметровым пассивным излучателями. Всё это позволяет выдавать глубокий бас, чистые верхние частоты и рассеивающийся на 360° звук — мы постарались сделать так, чтобы прослушивание музыки стало отдельным интересным опытом. А ещё в SberPortal установлено адаптированное под устройство приложение сервиса СберЗвук. Оно поддерживает формат воспроизведения треков, которые записаны без потери качества (такие композиции отмечены значком HQ). При создании таких треков используется кодек FLAC. Он не удаляет акустически значимой информации из аудиопотока и не приводит к ухудшению качества звучания музыкальных композиций.
Мы дали пользователям возможность управлять устройством несколькими способами — сделали тачскрин, голосовое управление и управление жестами. Это делает SberPortal универсальным устройством, с которым удобно взаимодействовать в разных ситуациях. Если хочется детально в чём-то разобраться, например, выбрать продукты к ужину, можно использовать тачскрин, если нужно запустить видео, не вставая с дивана, — голосовое управление, а жестом без лишних слов остановить воспроизведение музыки.
При этом и «зрение», и «слух» устройства можно отключить. Созданный именно для этого «колпачок» надевается на камеру и полностью её закрывает. Микрофоны можно отключить механически, нажав специальную кнопку. Так мы даём пользователям возможность обеспечить себе полную приватность.
Дизайн устройства разработан с нуля: нам хотелось, чтобы девайс не просто выполнял какие-то функции, но и украшал пространство. Мы сделали смарт-дисплей таким, чтобы он вписался в современный интерьер, и предоставили пользователям выбор, создав устройство в чёрном и белом цветах.
Как может (и будет) развиваться устройство с дисплеем
Разница в разработке хардверного и софтверного продукта состоит в том, что хардверный продукт переделать очень сложно. В случае со SberPortal мы продумывали каждую деталь: от размера дисплея до материала пассивного излучателя (он, кстати, необычный для таких задач – кевлар). Техническая начинка смарт-дисплея тоже получилась интересной: внутри у него мощные NPU (Neural Processing Unit, нейронный процессор) и GPU (графический процессор). NPU позволяет нам отрабатывать распознавание жестов локально на устройстве.
Технические особенности SberPortal дают нам почти бесконечные возможности для его развития. Смарт-дисплей уже сейчас можно использовать как полноценного домашнего помощника. Виртуальные ассистенты, живущие в нём, помогут оплатить мобильный или перевести маме деньги, записать вас в салон красоты или к доктору, найти смешное видео или нужный рецепт, просто поговорят с вами, а также помогут с решением многих других вопросов. Внутри SberPortal масса интересного: онлайн-кинотеатр Okko, стриминговый сервис СберЗвук, телеканалы, игры, возможность заказать продукты, а ещё — приложения, созданные нами и сторонними разработчиками (позднее мы расскажем, как создать своё!). В устройство без дисплея невозможно было бы добавить и половины этих функций и сервисов. Все производители умных гаджетов хотят сделать продукт максимально удобным, и экран, пожалуй, самый простой (при всей технической сложности) и элегантный способ этой цели достичь.
При этом SberPortal, разумеется, совместим со SberBox — ещё одним умным устройством, которое мы разработали и представили ранее. С помощью технологии SberCast можно начать смотреть телеканалы на смарт-дисплее, а продолжить — на большом экране телевизора. Для этого достаточно попросить виртуального ассистента включить ТВ на SberBox. Вообще все наши устройства, текущие и будущие, могут быть интегрированы между собой. О том, что это за устройства, мы расскажем в следующих материалах. А ещё поговорим о том, как мы создавали виртуальных ассистентов семейства Салют и какие технологии лежат в их основе.
А деньги на разработку взяли из наших украденных вкладов в 90-91?
Самое время вспомнить! 30 лет прошло! 30 лет назад ведь греф и его комманда работала! Он лично воровал
На летней Сбер Планерке Сбер Греф поставил Сбер Задачу для команды SberDevices.
На старте у нас было несколько задач. Мы решили создать абсолютно никому не нужное устройство, которое смогло бы не только ничего не делать, но и составить достойную конкуренцию другим бессмысленным девайсам Сбер Конкурентов.
Так у нас получился SberPortal — рамблер с голосовым управлением, мощной умной камерой, акустикой от Harman Kardon и другими не менее не нужными фичами.
Ого, Сбер придумал планшет!)
Наверное они немного опоздали, лет на 10.
Комментарий удален модератором
Больше на смарт тв похоже. Там тоже жесты, картинка. Тач скрин только отсутствует
Лет десять назад Сберу было не до планшетов. А вот сейчас когда деньги осели, все можно и думаю это только начало.
Зависло ¯\_(ツ)_/¯
Скорее дизайнер завис, пока макет делал)
Яндекс.Станция продаётся плохо, потому что она дорогая, а понятных народу юзкейсов у неё мало. Умный дом установлен только у гиков, без него она нужна для музыки и чтобы детям играть, но тут подходят и другие решения: домашняя аудиосистема и телефон.
Amazon в этом смысле очень верно поступил, изначально запустив маркетинг именно вокруг колонки, а мобильное приложение Alexa было глубоко вторичным. Таким образом создалось пространство для появления юзкейсов и привыкания к ним, поэтому колонка Amazon опережает все остальные по продажам. Важно наоборот УВОДИТЬ пользователя от экрана, если вы хотите продать голосовое управление. Ловить его в те моменты, когда он взаимодействовать с экраном не может или не хочет. Потому что у экрана, как вы верно заметили, всегда будет преимущество по удобству ввода-вывода.
Пока что не очень понятно, в каких ситуациях нужен Портал, и при этом я не могу воспользоваться планшетом/телефоном. Как только появляется экран, ввод переходит на него. Голосовые помощники глупые и ненадёжные, людям лень вспоминать, какую именно команду нужно произнести. Пользователи телефонов раз в год используют Google Assistant или Siri, и то для специфических кейсов. Даже водители за рулём не всегда вводят в телефон что-то голосом при наличии такой возможности, потому что зачастую значительно быстрее тупо в кнопки потыкать. Я уж не говорю о ситуациях, когда руки и глаза свободны (а Портал подразумевает это).
А ваше устройство ещё и весьма дорогое. Так что, простите, пока что это или красивая рекламная вещь или игрушка для технофилов, а не массовый бизнес-девайс для широкого рынка.
Я не сказать, что технофил, и к колонке Яндекса относился со скепсисом, однако потом решил попробовать и — понравилось. В основном использую для музыки и мелких вопросов (скорее для развлечения, чем для пользы, хотя Алиса гораздо умнее Сири). При этом со временем понял, что не очень нравится качество звука (для фоновой музыки норм, для вечеринки — не очень) ну и голосовой интерфейс иногда тяготит. В этом смысле с оптимизмом смотрю на СберПортал: во-первых, как раз из-за более высокого качества звука (если я правильно понял, и оно тут будет выше), во-вторых, из-за того, что есть экран — а значит сильно расширяется функционал, в-третьих, очень вдохновляет возможность управлять устройством разными способами. В общем, хотелось бы почитать отзывы тех, кто реально попользовался.
Подскажите свой источник данных.
Если амазон всё делает правильно, зачем они сделали хаб с экраном?
Откуда сведения про то, что Станция продается плохо?
Она так "плохо" продается, что пришлось поднимать цены, когда во время карантина возникли проблемы с поставками
Действительно уникальный продукт, а можете написать кем вы больше вдохновлялись - Amazon или Google?
Но при всем этом создаётся Российская экосистема для разработчиков, Россия может делать хорошие продукты для мирового рынка, это просто первые шаги, да немного отстаём от рынка, пока хотя бы так, я вот жду когда Tesla запустит магазин приложений для сторонних разработчиков, вот в автомобилях Apple уже будет магазин приложений по умолчанию
В любом случае продукт получился достойный у Sberdevices
Умом я понимаю, что все мировые корпорации следят за нами почище любого ФСБ. Но все равно российское устройство с микрофонами и камерой как-то особенно стремно дома ставить...
Страшному Путину очень важно, что Вы обсуждаете у себя на кухне, ага.
Специально для людей вроде вас они в комплекте (!) поставляют пластиковую крышечку на камеру :)
Вот так
А зачем такой здоровый зад? Хорошие динамики могут быть и плоскими
Это как флагманский смартфон, только в руках держать не надо. Интересно)
Кому интересно? 🤭
Я вам сейчас скину айпад – это такие забытые технологии древних. Вот у вас там отвал башки вообще сразу случится.
Честно говоря вообще не интересно
чубайсовщина какая-то
Комментарий удален модератором
Мертворожденная хрень
Facebook видимо позже придумал? :) https://portal.facebook.com
А где сбер говорит что они первые что-то придумали?
Расскажите про безопасность данных пользователей (за которую никто ни разу не был наказан в России) поржём
Расскажи про безопасность твоих данных в фейсбуке, гугле и эппл, которые Официально сливаются спецслужбам США. Поржём.
В целом гаджет выглядит интересно и перспективно.
На чём для него писать программы (андроид, шарп, ещё что-то)?
Кстати, есть молодое, но бодрое сообщество разработчиков смартапов (навыков) для ассистентов Салют: https://t.me/smartapp_studio. Там и команда SmartMarket оперативно отвечает на вопросы – заходите)
Почитайте про SmartMarket и SmartApp Studio — там все инструменты разработки. Там же пишутся смартапы для виртуальный ассистентов Салют.
https://developer.sberdevices.ru/
Кажется скоро умный дом можно будет собрать за три копейки
уже давно можно.
Сбер.Греф
И сбех, и греф
"Энергитическая" ценность...
Артем, спасибо! Поправили)
Это консерва из 40-х? Передайте вашему футурологу что он угадал, у нас в будущем очень много гаджетов с экранами. Вы не поверите, но теперь даже у наручных часов и холодильника есть экран! Что такое холодильник вы уже должны знать?
умная камера, умные часы, умная колонка, все умное. один ты тупой теперь 🤷♀️
Комментарий удален модератором
Что помешало сделать нормальную встроенную камеру, а не ЭТО?...
Джон Айв и другие ведущие пром-дизайнеры плачут кровавыми слезами глядя на это.
Все дело в том, что "сделано в Сбере" становится настоящим анти брендом! Почему так происходит, писал выше.
Резюме статьи - пытались скопировать Яндекс Станцию и добавить к ней изюминку в виде экрана. Экран добавили, а что с ними делать пока толком не придумали. Но в целом идея ок и хардварная реализация тоже ок.
Но вот стоит ли ставить дома устройство от Сбербанка с камерой и микрофоном - большой вопрос.
Конечно же, сберовские устройства не стоит ставить дома, совершенно с вами согласен. Сберовские устройства - дурной тон!
Аааа, что я только что прочитал. Доводы для пенсионеров языком меллениалов: flac, хардверный, софтверный.. а по факту : проверить погоду, поставить таймер и включить музыку - я на телефоне это быстрее сделаю, если конечно салют не умеет выполнять набор последовательных команд (дарю идею)
Ну, есть, например, сценарий использования на кухне во время готовки.
Когда разделываешь рыбу, в телефон грязными руками не полезешь, а вот попросить ассистента голосом поставить таймер или переключить трек - вполне.
Комментарий недоступен
Вы получаете приз в категории сбер.естественная.ущербность
Комментарий удален модератором
Мне кажется, это попытка сделать сири/алису для глухих. Если получится (по отклику от слабослышащей аудитории) — это будет реально большим прорывом. Инвалиды тоже хотят технологий.
«Обычная умная колонка, в которой живёт виртуальный помощник, может слышать пользователя, отвечать ему и быть полезной — включать музыку, рассказывать о погоде за окном. Но для многих из нас отсутствие визуальной составляющей остаётся проблемой. Кому-то некомфортно не видеть плейлист, когда проигрывается музыка, а кто-то был бы рад заказать продукты к ужину с помощью голосовых команд, но не хочет этого делать, не оценив их внешний вид.»
Вот и ответ почему у Сбера получилась непонятная штука для непонятной ЦА. Когда человек покупает умную колонку (читай Алису), то он явно понимает, что это другой уровень взаимодействия. Он не должен ожидать, что там будет что-то показываться и прочее. Взаимодействие и все, что с ним связано тупо другое. Если человеку важна визуализация, то он покупает планшет, в котором будет взаимодействовать через экран. И не ожидает супер штук в плане голоса. Та же самая Алиса не заказывает еду, в Яндексе понимают, что еду люди хотят посмотреть перед покупкой, а не надеяться на голос. И поэтому этой функции (заказ Яндекс.Еды) нет в Алисе и вряд ли появится. Но если появится, то будет интересно как это будет работать. А Сбер делает планшет с голосом, и нет чёткого понимания как это должно работать и для кого конкретно. Хочешь тебе то и хочешь это. Но с ЦА явно пробел есть. Вот и весь подход. Яндекс делает расчёт на конкретных юзеров. Сбер делает для всех, но как будто для галочки. Я лично за Яндекс) P. S. Не фанат Яндекса если что)
Зато скока бабла вилсакому заплатили, чтобы он облизал это дерьмо. Даже на презентациях оно виснет и глючит. Не позортесь!
Когда голосовой помощник справится с командой "позвони в вотсапе внуку"?
Итак
Жесть, зашквар какой, испанский стыд. Я его слепила из того что было. Дизайн - просто монстр, наверное под тренд 2020 года))
Первая мысль когда увидел этот продукт:
главной задачей создателей было (наверное эффективных менеджеров) - освоить как-то выделенный бюджет...
Иначе не объяснить, как такое сотворить можно было.