Голосовые команды и музыка, которые доступны без интернета
Что умеет новая СберБум 2.0.
Когда разрабатываешь интеллектуальное устройство, много размышляешь о пользователе: чего он хочет, что ему нужно и что не нравится в существующих вариантах. Представляем СберБум 2.0. Колонку, которая помогает — даже офлайн.
Что СберБум 2.0 может без интернета
Как правило, умное устройство полностью зависит от Wi-Fi. Если его нет, фактически нет и устройства: оно просто стоит на полке, безуспешно ловя сигнал.
Мы предположили, что это неправильно. Не должна интеллектуальная колонка терять все навыки, если нет интернета — иначе какая она интеллектуальная? Поэтому на СберБум 2.0 можно скачать до 200 треков из плейлиста «Любимое» сервиса «Звук» и слушать их, даже когда упал интернет. Без интернета работают и некоторые голосовые команды:
- всё, что связано с музыкой — громче, тише, следующая, зацикли трек, перемешай плейлист и так далее;
- включение и выключение Bluetooth;
- отключение таймеров или будильников;
- управление умным домом (об этом чуть ниже).
С Wi-Fi или без него, колонка понимает синонимы: отключить будильник можно как фразой «Салют, стоп», так и «Салют, замолчи». Способна ответить на приветствие и прощание, комплимент и критику. А если дать ей команду, которая исполняется в «облаке» — напомнит, что для этого нужен интернет.
Чтобы команды работали без Wi-Fi, колонка должна уметь:
- превратить голосовую команду в текст;
- сделать вывод, чего именно хочет пользователь;
- сделать это.
Самый критичный пункт — первый: нужна модель распознавания голоса, которая уместится на устройстве и будет работать там в реальном времени. Мы обучили модель на 233 млн параметров, а затем сжали так, что она занимает в памяти около 240 Мб. Ещё одна локальная модель определяет задачу колонки и запускает выполнение.
Чтобы модели исполнялись прямо на устройстве, для колонки выбрали мощный чип с с выделенным ядром NPU.
Способности СберБум 2.0 действовать офлайн не ограничились музыкой и командами: мы добавили в неё протоколы Zigbee и Matter over Wi-Fi. Сценарии с устройствами, которые работают по этим протоколам, продолжат выполняться без интернета.
Колонка, с которой приятно жить
Чтобы сделать общение с ИИ-помощником естественнее, мы добавили ему гибкость диалога. Можно задавать СберБум 2.0 несколько вопросов подряд, на ходу уточнять контекст запроса, не повторяя в каждой фразе имя. Можно даже перебивать её:
— Салют, какая сегодня погода в Москве?
— Сегодня дождливо, температура плюс восемнадцать градусов…
— Что мне надеть? Для пальто не жарко? Опаздываю на работу!
Кроме того, у колонки появился новый уровень интерактивности. В ней сочетаются датчик движения и LED-экран, где отображаются «эмоции» и реакции колонки. Она погрустит с вами, если поделиться чем-то плохим. Озвучит пропущенное напоминание при появлении человека. «Посмотрит» на вас, когда вы подошли. А если вернуться домой после нескольких дней отсутствия — «посмотрит» и поздоровается.
Благодаря датчику движения СберБум 2.0 можно включать в сценарии умного дома — она будет работать вместе с другими устройствами. Выключит кондиционер в пустой гостиной, включит свет и музыку, когда в комнате кто-то есть. При этом датчик учитывает микродвижения: поворот головы, качание ноги. Чтобы свет продолжал гореть, не придётся вскакивать или размахивать руками; достаточно спокойно сидеть и читать. СберБум 2.0 — рядом. Если нет Wi-Fi, она не исчезнет. Иначе какой это помощник?