Зачем умной колонке часы со стрелками и как объединить три устройства в одном

Рассказываем о SberBox Time.

В линейке умных устройств Sber пополнение — в продаже появилась SberBox Time. В небольшом корпусе спрятана функциональность трёх устройств: это одновременно умная колонка, ТВ-приставка и часы. Продакт-оунер SberBox Time Дмитрий Маняхин рассказывает, как мы в SberDevices придумывали и создавали девайс и какие задачи решала команда.

Умные колонки — самый быстрорастущий сегмент электроники. 160 млн в 2020 году, 400 млн в 2021-м и уже 640 млн в 2023-м — столько умных колонок будет продано в мире по данным JustAI. У нас есть всё, чтобы отвечать спросу: инженерная экспертиза, голосовые технологии и целое семейство виртуальных ассистентов Салют. Ведь именно ассистенты делают колонки умными. Поэтому проигнорировать мировой тренд мы просто не могли.

При этом умная колонка без визуального интерфейса была бы сильно ограничена в функциональности. Всё-таки 90% информации, которую мы потребляем ежедневно, визуальная. Так мы пришли к мысли, что у нашей колонки должен быть экран. А какой экран самый большой в доме? Правильно, телевизионный. Поэтому мы решили добавить HDMI-порт на устройство, чтобы его можно было подключать к телевизору. Наши наблюдения и исследования показывали, что наличие экрана делает пользовательский опыт существенно лучше. С экраном можно запустить голосом кино, сыграть в игру с визуальными элементами, заказать продукты и многое другое. На случай, если пользователь захочет управлять устройством кнопками, в комплекте идёт пульт.

Решив вопрос с экраном, мы начали думать об изюминке девайса. Нам хотелось, чтобы он органично вписывался в домашний интерьер и не выглядел инородным технокирпичом. Что присутствует почти в каждом интерьере? Правильно, часы. На многих умных устройствах есть электронный циферблат, но аналоговые часы воспринимаются более «ламповыми». Изучив нишу, мы решили объединить сложное техническое устройство и традиционный домашний прибор, который понятен пользователям, — часы со стрелками.

Так на рынке появилось устройство нового класса — умная медиаколонка SberBox Time, объединяющая в себе три девайса. Это небольшое устройство, которое будет выглядеть уместно и на прикроватной тумбочке, и на кухне, и у телевизора. С маркетинговым позиционированием пришлось повозиться, чтобы объяснить, что мы создали девайс 3 в 1. Мы долго думали, что делать: продавать его как умную колонку? Но ведь там есть функциональность, связанная с ТВ. В таком случае это ТВ-приставка? Но тогда пользователи могли упустить из виду возможности умной колонки. Может, назвать это умными часами? Разобраться помогли исследования аудитории. Мы узнали, что люди хорошо относятся и к умным колонкам, и к ТВ-приставкам. Поэтому решили объединить это и назвать новый девайс умной медиаколонкой.

Чтобы первая партия устройств сошла с конвейера на фабрике и отправилась в квартиры покупателей, команде пришлось проделать огромную работу: от глубокой проработки дизайна до решения критических проблем со звуком и поставками компонентов. Вот как это было.

Итак, мы поняли, что собираемся делать. Сразу стало ясно, что перед нами стоят две крупные задачи. Первая — совместить три устройства в одном миниатюрном корпусе. Мы уже тогда понимали, что это будет непростой челлендж, ведь все три составляющие будут сильно влиять друг на друга. Вторая задача — обеспечить качественный звук. Было ясно, что сделать небольшой по размеру девайс с классным звучанием будет непросто. Но реально.

Создание любого девайса начинается с дизайн-концепции. С этим, как и со всеми дальнейшими процессами разработки дизайна и конструкции устройства, нам помогли наши давние партнёры — дизайн-хаус notAnotherOne. После обсуждения концепта будущего устройства команда показала нам множество вариантов. Например, SberBox Time могла бы быть реализована в форме усечённого цилиндра, а первые образцы были вообще без ткани.

В целом мы, разумеется, отталкивались от того, как выглядят другие наши устройства, например SberPortal. Во внешнем виде SberBox Time заметна преемственность: угол наклона циферблата, кольцо, обрамляющее его, и даже форма адаптера питания. О разработке дизайна медиаколонки мы обязательно расскажем в отдельном посте: это занимательная история с массой интересных деталей.

В итоге мы остановились на концепции, которая устроила нас всех. Затем выбранный нами концепт прошёл инженерную верификацию. Команда инженеров выясняла, получится ли у нас добавить в устройство всё, что мы хотим, если оно будет выглядеть именно так. Размер устройства и его форма — то, с чем предстоит работать R&D-команде на всех последующих этапах, поэтому верификация крайне важна. Периодически мы сталкивались с какими-то ограничениями, что приводило к изменениям в механическом дизайне и внешнем виде.

Например, мы добавили ткань и кнопки, подобрали размер диаметра циферблата, поэкспериментировали с цветами, степенью шероховатости поверхностей и формой декоративных элементов. С тканью возились особенно долго: нужно было выбрать материал нити, плетение и цвет. Все материалы, размещённые на корпусе, влияют на качество звука, поэтому нам нужна была «акустически прозрачная» ткань, то есть такая, которая влияла бы на звук минимально. Кроме того, материал должен был красиво выглядеть на устройстве: не топорщиться и не натягиваться. Мы нашли несколько вариантов, соответствующих нужным характеристикам, но ни один из них не подходил по цвету.

Мы посмотрели сотни вариантов готовых тканей и попробовали десятки на образцах девайса. Но так и не нашли того, что нам было нужно, в стандартных каталогах производителей.

Ткань, которая понравилась нам по плетению, не подходила по цветам. Тогда мы заказали на фабрике текстиля кастомную окраску ткани, которая бы соответствовала нашим требованиям. Пришлось заказать более 30 оттенков каждого цвета, чтобы выбрать один. Сейчас SberBox Time можно купить в чёрном цвете. Чуть позже появятся и другие цвета — более яркие и белый.

Выбор стекла, за которым находится циферблат, стал отдельной задачей. Мы перепробовали десятки, если не сотни вариантов. Тёмные и светлые, разных оттенков и степеней матовости и прозрачности. Важно было понять, как стекло будет смотреться в сочетании с другими элементами устройства.

В итоге мы выбрали два варианта. Для тёмных устройств — матовое стекло, понижающее контраст стрелок, а для белых — прозрачное. Благодаря ему светлые девайсы выглядят более графичными.

Так как мы хотели, чтобы колонка звучала достойно, пришлось очень внимательно подойти к выбору партнёра, способного создать для нас акустическую систему. Пообщавшись с четырьмя известными на рынке компаниями, мы его нашли. Всё шло по плану, и мы вместе с вендором смоделировали конфигурацию аудиомодуля, который помещался в корпусе. Получив первые образцы устройства, мы поняли, что нас не устраивает качество звука и добиться желаемого звучания не удаётся. Низкие частоты звучали плохо: не было той глубины и того объёма звука, каких мы ожидали.

На тот момент мы находились на стадии отладки производства и через несколько месяцев должны были выпустить готовый продукт на рынок. Позволить себе начать производство, не получив достойного звука, мы не могли. Стало ясно, что конфигурацию аудиомодуля придётся менять, а старт производства — откладывать. Вернувшись на шаг назад, мы вновь начали тестировать принципиально разные концепции аудиомодуля. У нас было несколько вариантов аудиорешения: с фазоинвертором, пассивным излучателем, одним и двумя разными динамиками.

Пользователи обычно не ожидают от компактных колонок качественного звука, а нам нужен был именно такой. Мы нашли подходящее решение с новым партнёром — и поменять пришлось всё! Поставили новые спикеры, изменили форму и объём акустической камеры, добавили пассивный излучатель и подобрали правильные настройки эквалайзера. И всё это — оставаясь в рамках утверждённого внешнего и внутреннего дизайна устройства. Это решение отбросило нас на несколько месяцев назад, но в итоге мы получили именно то, что хотели.

Однако сложности на этом не закончились. Параллельно обнаружилась ещё одна проблема: чувствительные микрофоны улавливали почти неслышимый для человека звук тиканья механических часов и движения шестерёнок внутри механизма. Мы потратили много времени на выбор тихоходного и точного механизма, но оказалось, что из-за близкого расположения часов и микрофонов последние всё равно улавливали шум.

Наши часы работают на базе шагового двигателя и управляются программно. Мы поняли, что шум появляется в момент начала и окончания движения стрелки — внутри часового механизма возникают небольшие колебания шестерёнок, это и есть источник шума. Пришлось погрузиться в тонкую настройку алгоритмов движения стрелок, чтобы они двигались плавно, микрошагами. Так мы решили и эту задачу.

Но это породило другую проблему. Громкая музыка из динамиков создавала ощутимую вибрацию, часовой механизм сбивался и стрелки начинали отставать. Мы подобрали подходящий материал и размер виброразвязок — резиновых деталей, на которые крепится аудиомодуль в корпусе устройства, сделав больше расстояние между ним и остальным окружением. Одновременно мы увеличили силу удержания стрелок. Алгоритм часов получился достаточно сложный, и это стало причиной очередной трудности: конфликт за ресурсы процессора. Другие процессы, такие как воспроизведение видео, игры и общение с ассистентом, забирали всё процессорное время, и в результате часы пропускали такты и начинали отставать.

Чтобы исключить такие конфликты, пришлось добавить независимый микроконтроллер и кварц на плату, но зато точность хода теперь на высоте. В итоге алгоритм движения стрелок «живёт» практически полностью на микроконтроллере и не зависит от загрузки основного процессора.

Со звуком мы разобрались, но у устройства есть не только «голос», но и «слух». Распознавание речи девайсом — это сложный комплекс программно-аппаратных решений. Всё начинается с микрофонов. Мы выбрали высокочувствительные микрофоны с малым разбросом параметров, чтобы все они работали одинаково. Микрофонов пять, они объединены в микрофонную матрицу и работают как одно целое. Сигнал с микрофонов обрабатывает набор алгоритмов. Они определяют направление, с которого приходит голосовая команда, а ещё — очищают звук от лишних шумов и помех, умеют «вычитать» звук, воспроизводимый устройством или подключённым к нему телевизором. После этого он подаётся на вход нейронной сети, которая каждую долю секунды пытается определить, произнёс ли кто-то слово-активатор (мы его называем споттером) — «Салют», «Джой», «Афина» или «Сбер».

Чтобы устройство точно распознавало слова-активаторы, нужно было научить нейронную сеть это делать. Для этого мы собрали огромные датасеты — наборы аудиозаписей, на которых много разных людей произносят слова-активаторы в различных акустических условиях. Например, когда на фоне слышен шум телевизора или бытовые разговоры.

Важно отметить, что до того, как прозвучало слово-активатор, медиаколонка никакие фразы никуда не передаёт. Слово-споттер распознаётся локально на девайсе, и только после вызова виртуальных ассистентов запросы пользователей отправляются на серверы для дальнейшей обработки, включая распознавание, понимание намерений пользователя, синтез речи и ответ на запрос и т.п. При этом микрофоны можно отключить на аппаратном уровне долгим нажатием кнопки Mute на верхней части колонки. После этого устройство вообще перестаёт что-либо слышать — до тех пор, пока пользователь снова не включит микрофоны кнопкой.

Собирать датасеты нужно было именно с помощью нового устройства — с использованием тех микрофонов, которые оказались в конечной конфигурации. Пришлось потратить немало времени и ресурсов, чтобы у нас было достаточно качественных данных. На сбор датасета ушло около полугода. Кстати, если бы мы что-то поменяли в устройстве умной колонки, это повлияло бы на её способность воспринимать речь — и собирать датасет пришлось бы заново.

Ещё одна крупная проблема затронула не только нас, но и тысячи других производителей. Производство устроено так, что компании, запуская создание нового устройства, должны сделать заказы на чипы и другие компоненты у сторонних поставщиков. Ждать поставку при этом приходится 6–9 месяцев — из-за пандемии и ряда других причин. Иначе говоря, запустив производство устройства и пройдя определённые стадии разработки, нельзя просто так взять и что-то заменить в один момент — это грозит потерей миллионов долларов на комплектующих.

При этом поставщик может в любой момент отказаться присылать компонент. К примеру, из-за того, что другой покупатель готов заплатить за него в 2 раза больше. Вы наверняка слышали про остановку производства автомобилей, видеокарт и прочей продукции из-за отсутствия электронных компонентов — причина именно в таких сложностях. Поэтому логистику и производство нам пришлось планировать на 25–30 недель вперёд — закупать компоненты, бронировать производственные линии. Сейчас эти сроки растянулись ещё дольше — до 50–60 недель.

Всё это изрядно потрепало нам нервы, но, к счастью, мы грамотно планировали время и выстраивали логистику, поэтому ни на качестве девайса, ни на цене, ни на сроках проблемы с электронными компонентами и комплектующими существенно не сказались.

Создание программного обеспечения для устройства заслуживает отдельного внимания. Оно шло параллельно с разработкой железа — синхронизация процессов нужна, чтобы всё работало правильно. Хотя мы используем для создания всех наших умных устройств единые технологии, каждое из них по-своему уникально. А значит, для каждого нужно писать свой софт.

В умной медиаколонке мы использовали новый для нас чип Amlogic S905D3. Эта серия процессоров создана специально для мини-компьютеров. На борту у процессора четыре ядра CPU, один графический ускоритель (GPU) и нейросетевой процессор (NPU). Нейропроцессор нужен для эффективной работы алгоритмов нейронных сетей: он позволяет совершать операции прямо на устройстве, а не в облаке.

Как только у нас появилась базовая конфигурация железа, команда разработчиков софта получила несколько десятков прототипов устройства в самодельных акриловых корпусах, и работа закипела. Мы портировали наш базовый софт и начали оптимизировать его под новое устройство. Напомню, что все наши девайсы работают под управлением нашей операционной системы StarOS, то есть ядро системы — единое. Но многие компоненты системы мы пишем с нуля специально для каждого устройства. Светодиоды, кнопки, порты ввода-вывода, датчики, периферия, часы, DSP-процессор аудио — всё это нуждается в уникальных алгоритмах и настройках. Работа над софтом длилась около года, её вели десятки разработчиков.

Самое интересное стало происходить, когда все независимые компоненты программного обеспечения соединились в единой сборке (прошивке), и начался этап комплексного тестирования. Это увлекательный и сложный процесс, похожий на сборку пазла из тысяч деталей. В этот период была особенно важна чёткая работа QA-команды, которая обеспечивает контроль качества. Ежедневное тестирование проходили все детали, каждый пиксель.

Примерно в этот же период началось бета-тестирование. Сторонние люди получили устройство и использовали его так, будто оно уже полностью готово. Они сообщали нам о своих впечатлениях и проблемах, с которыми столкнулись. По итогам всех тестирований мы устранили дефекты, и устройство получило финальный софт, теперь доступный пользователям.

Отдельной историей стало тестирование SberBox Time на прочность. Чтобы технически сложное устройство с продуманным дизайном доехало с фабрики до своего владельца и прослужило ему долго, оно должно быть устойчивым к разным условиям эксплуатации. На производстве нашу умную медиаколонку испытывали на особых стендах. Проверять качество каждого готового устройства помогает чембер — специальная камера для автоматизированного тестирования. С её помощью мы проверяем работу устройства в целом, работу часового механизма и периферии (Wi-Fi, Bluetooth, порты ввода/вывода, кнопки, микрофоны). Параметры микрофонов и звука тоже проверяются на этом этапе. Если с устройством что-то не так, его отправляют обратно на производственную линию. А после устранения проблем снова прогоняют через чембер — и так до тех пор, пока каждый девайс не будет работать корректно на 100%.

Другие приборы проверяют девайс ещё на этапе предсерийных образцов. Например, виброустановка несколько дней подряд трясёт девайс, чтобы проверить, выдержит ли он долгую дорогу. А термокамера помогла убедиться, что устройству не страшны перепады температуры и влажности. «Мучить» приходилось не только сам девайс, но и упаковку, которую мы для него разработали: она тоже подвергалась стресс-тестам. Первые версии упаковки оказались недостаточно стойкими и не выдерживали тесты. Нам пришлось менять конструкцию, а внутрь добавлять защитные плёнки и мягкую пену.

Упаковка должна быть не только надёжной, но удобной и красивой. Распаковка новенького устройства — это всегда приятная интрига для пользователя, и важно не испортить этот момент. Наши дизайнеры и конструкторы долго думали, как разместить устройство и все аксессуары удобно и красиво внутри упаковки. Мы проводили исследование с распаковкой устройства с участием реальных пользователей, и это помогло нам подобрать оптимальное расположение устройства и аксессуаров в коробке, а также её конструкцию. Теперь всё надёжно защищено и красиво выглядит.

А ещё мы придумали сделать набор аксессуаров, чтобы пользователи могли экспериментировать с внешним обликом устройства. Мы выложили на сайте 3D-модели аксессуаров. Чтобы украсить умную медиаколонку, достаточно их скачать и распечатать.