Колонка, которой можно придумать любое имя
Мы отказались от стандартного споттера в СберБум 2.0, чтобы пользователи могли сами проявлять креатив, называя ассистента.
Когда устройство становится по-настоящему своим? Мы думаем — когда настраиваешь его по-своему, а не по чужим правилам. Сегодня в продажу выходит СберБум 2.0: интеллектуальная колонка, которую можно называть как хочешь. Рассказываем, как это работает.
Колонка по имени Коржик: как СберБум 2.0 понимает новые имена
У каждого умного устройства с голосовым интерфейсом есть имя, оно же — споттерное слово: Сири, Алекса, Салют, Маруся... Когда пользователь произносит его, девайс понимает, что говорят именно с ним.
Мы задумались: почему пользователь вынужден использовать споттерное слово по умолчанию? Вдруг он хочет колонку по имени Коржик? Или Оскар? Вдруг у колонки такое же имя, как у кого-то в семье? Или дома три устройства, все отзываются на одно имя?
Лучше всего — пусть сам выбирает, как обращаться к колонке. Ведь придумывать имя для колонки — это весело. Бета-тестирование показало, что участники с удовольствием проявляют креатив, пока изобретают прозвище.
За споттер отвечает маленькая модель распознавания паттернов в аудио. Она ищет в потоке звуков с микрофона одно-единственное слово, которое знает — имя колонки.
Для кастомного имени нужно было обучить новую модель, способную распознавать разные слова. Команда споттера использовала архитектуру, совместимую с предыдущей моделью — той, что отвечала за споттер «Салют». Это упростило работу: получилось даже переиспользовать часть старой нейросети в новой модели.
Модель обучали на размеченных данных, то есть методом Supervised Learning (датасетами на старте поделились другие команды компании, которые работают с аудио). Мы использовали реальные данные с аугментациями, то есть добавляли варианты шума на фоне, ускоряли и замедляли записи.
Когда пользователь меняет имя колонки, устройство просит несколько раз повторить новый споттер (мы работаем над тем, чтобы повторений требовалось как можно меньше). Модель анализирует эти записи, выделяет общие паттерны и превращает их в один эталон.
Мы понимали, что кастомное имя должно быть локальным. Эталон тоже не нужно передавать на облачный сервер — пусть он хранится прямо на устройстве. Это определило выбор «железа» для СберБум 2.0.
Мощный чип с выделенным ядром CPU позволяет модели работать внутри девайса без обращения к «облаку».
Допустим, вы говорите колонке:
— Что-то рано стемнело, август кончается... Коржик, включи свет!
СберБум 2.0 ищет в речи слово, похожее на своё новое имя. Когда находит — сравнивает с эталоном. Если два слова достаточно похожи — понимает, что сейчас начнётся голосовая команда (и всё, что прозвучит после споттера, нужно отправить в «облако» для распознавания).
Насколько похожими должны быть слова, мы определили в несколько итераций, включая бета-тестирование. Первый тестовый датасет собирали сами инженеры: озвучивали кастомные споттеры шёпотом, включали на фоне голоса телевизор и музыку… Кстати, фоновый шум мешает записи кастомного споттера. Чтобы дать колонке новое имя, обязательна тишина. Но мы продолжаем работать над тем, чтобы усовершенствовать процесс.
Каким должно быть хорошее имя устройства:
- одно слово, в нём 2-3 слога;
- желательно с редким и сильным первым слогом;
- чем необычнее, тем лучше;
- почти без близких рифм или похожих слов.
Точно знаем, что хорошие имена для СберБум 2.0 — «Барыня», «Секвойя»… и, конечно, «Коржик».
Как сделать колонку ещё более личным устройством
Когда устроил так, чтобы каждый мог назвать колонку как нравится, трудно остановиться. Для своей СберБум 2.0 можно выбрать:
- голос — мужской или один из двух женских, каждый со своей интонацией — доброй, сдержанной или отзывчивой;
- один из трёх стилей общения;
- обращение на «ты» или «вы».
Пользователь решает, какой голос больше подойдёт Коржику. Или выбирает для Джарвиса обращение на «вы», потому что именно так тот говорит с Тони Старком.
Имя, голос и манера разговора сливаются в образ помощника, который ощущается полностью своим.
СберБум 2.0 говорит с живой, эмоциональной интонацией благодаря новому синтезу речи. Для него мы, как обычно, записали речь дикторов… но по-новому: попросили их произносить фразы не холодно-профессионально, а легко и тепло, будто с кем-то близким. Так, как должен говорить ИИ-помощник. Вдобавок ГигаЧат учитывает предыдущее предложение, когда генерирует новое. Иначе в каждой фразе будет новая эмоция — а люди так не говорят.
Общаясь с другим, человек замечает мимику собеседника и его отклик; это важная часть диалога. Поэтому у СберБум 2.0 появился LED-экран. На нём отображаются не только данные (погода, пробки), но и реакции колонки. «Мимикой» управляет ГигаЧат — он сам выбирает, как откликнуться в диалоге. Колонка обрадуется комплименту и расстроится, если владелец пожалуется:
— Коржик, я боюсь пауков!
Благодаря встроенному датчику движения колонка способна озвучить установленное напоминание, если вы рядом. Или сообщить, что вы пропустили напоминание, при «встрече».
Чтобы беседа ощущалась естественной, колонка запоминает факты о владельце — его имя, кличку домашнего питомца — и упоминает, когда это уместно. Например, если попросить сочинить сказку о вашей собаке.
Придумывая СберБум 2.0, мы заранее знали, что хотим сделать её как можно более личной. Такой, чтобы владельцу хотелось с ней говорить. Чтобы она и помогала, и радовала.
Конечно, возможности новой колонки не ограничиваются персонализацией. В ней есть мощный стереозвук, протокол умного дома Matter over Wi-Fi, офлайн-режим и не только. Но главное — всё-таки возможность настроить устройство под себя. Когда сам даёшь СберБум 2.0 имя и придумываешь характер, ты ощущаешь: «Это — моя колонка».