Отслеживание эмоций в Spotify, биометрия в WhatsApp и запуск помощника ВТБ: 13 новостей в мире voice tech на начало 2021

Дайджест от команды голосовых интерфейсов KODE — подборка интересных новостей из мира голоса и разговорных технологий: от Microsoft, Amazon, Google, Spotify, ВТБ, Сбера и других компаний.

Всем привет, мы VUI-команда голосовых интерфейсов компании KODE. Занимаемся разработкой разговорных продуктов и развиваем voice tech сообщество. В свободное время ведём Telegram-канал «Hey Voice!» — подписывайся, если хочешь следить за новостями индустрии.

А пока собрали для тебя дайджест главных событий в мире voice tech за январь и февраль 2021 года.

Информационный ресурс Voicebot.ai пообщался с 50 лидерами индустрии и выпустил лонгрид, посвящённый прогнозам о развитии voice tech в этом году.

Главный тренд — рост числа пользовательских помощников, не связанных Amazon Alexa, Google Assistant и другими экосистемами, и голосовые решения на ходу. Следом за ним — персонализация с точки зрения предпочтений пользователя и даже распознавание его эмоций.

Среди других интересных трендов — мультимодальность, внедрение голосового ИИ в обслуживание клиентов (включая виртуальных людей), киберспорт, игры, мобильные приложения и автомобильный сектор.

В обновленной веб-версии YouTube появился голосовой поиск и управление голосовыми командами.

Теперь навигация по платформе может осуществляться без помощи рук, причём поддержка голосовых команд не ограничивается только поиском видео. Пользователь может попросить показать историю просмотров и библиотеку, новые видео в подписках или на определённом канале. Голосовой поиск также обрабатывает команды на естественном языке.

Alexa Custom Assistant — это новая диалоговая AI-платформа от Amazon, которая позволяет создать голосового помощника на базе технологий Alexa.

Разработчики смогут настраивать слово для пробуждения, необходимый функционал, голос и другие компоненты в соответствии со своим брендом и потребностями клиентов. Созданный ИИ компания сможет интегрировать в совместимые интеллектуальные устройства, мобильные приложения или другие продукты.

В начале года прошла Международная выставка потребительской электроники CES 2021, где компании представили свои проекты, призванные улучшить повседневную жизнь людей.

Среди voice tech гаджетов нашлось кое-что интересное:

• холодильник со встроенным голосовым помощником, который умеет открывать дверцу, если у человека заняты руки, контролировать датчики системы, диспенсеры для льда и фильтры для воды;
• портативное «умное» устройство с камерой, позволяющее считывать текст с листа бумаги или экрана и преобразовывать его в речь. Этот гаджет подходит для людей с нарушениями зрения или испытывающих трудности при чтении (включая дислексию), а также для всех, кто много читает;
• обучающий робот-игрушка для детей, который понимает естественный язык ребёнка и его родителей, а также считывает эмоциональный контекст разговора;
• «умный» смеситель — ещё один кухонный гаджет, который помогает управлять водой, даже не касаясь ручки крана. В мобильном приложении можно задать короткие голосовые команды, чтобы менять температуру воды, открывать и закрывать кран.

ID R&D и SimpleTech запустили функцию голосовой биометрической аутентификации внутри приложения в WhatsApp for Business. Предприниматели смогут использовать мессенджер для обслуживания простых запросов клиентов, безопасного перевода платежей и других операций.

В феврале ВТБ анонсировали запуск голосового ассистента в мобильном приложении ВТБ-Онлайн. На первом этапе помощник сможет проконсультировать клиентов по ключевым продуктам банка, подсказать, как пользоваться приложением, и выполнить частые операции: пополнить счёт мобильного или перевести деньги по номеру телефона.

По оценке компании, запуск своего ассистента позволит увеличить скорость работы с приложением в 2–3 раза, а новой функцией воспользуются не менее 10% пользователей мобильного приложения банка.

Рост интереса к разработке Virti вызвала пандемия COVID-19: в прошлом году компания выросла примерно на 1000%, а её клиентами стали более 20 медицинских учреждений.

Цель стартапа — обучить медицинских работников навыкам работы с людьми. Если раньше для этого использовали актёров, то теперь смогут задействовать виртуальных пациентов. Их можно настроить на компьютере, мобильных устройствах и VR-гарнитуре.

Перед началом упражнения можно настроить физические характеристики аватара и предполагаемое заболевание. В процессе ИИ описывает свои симптомы, записывает все данные о том, что говорит обучаемый, и по итогам даёт развёрнутую оценку о качестве ответов и способности установить верный диагноз.

Компания HandsFree Health, разработчик голосового медицинского помощника WellBe, интегрировала ассистента в умное устройство для мониторинга самочувствия — часы Emergency Alert. Теперь ассистент доступен пользователям далеко за пределами дома.

Благодаря интеграции у WellBe можно спросить, где находится ближайшая аптека, получить базовую консультацию о самочувствии, попросить напомнить о приёме лекарств и измерить давление. Также ассистент решает базовые задачи: управляет умным домом и медицинскими устройствами, ищет маршрут, проверяет погоду и рассказывает новости.

Начиная с 2023 года, автомобили под брендами Ford и Lincoln будут оснащаться операционной системой Android, включая встроенные приложения и сервисы Google. Google Assistant станет голосовым помощником, встроенным по умолчанию. Партнёрское соглашение рассчитано на 6 лет.

Ford — не единственная компания, которая планирует внедрить операционную систему Android в свои автомобили. Ранее сотрудничество с Google на использование ПО в информационно-развлекательных службах автомобилей уже заключили Volvo, General Motors и альянс Renault-Nissan-Mitsubishi.

Согласно отчёту Исследовательского института Capgemini, к 2023 году 73% водителей будут использовать голосовых помощников, встроенных в автомобили. На данный момент наиболее популярные юзкейсы — навигация, прослушивание и переключение музыки. Предполагают, что чаще всего люди будут использовать автомобильных ассистентов для записи в автосервис и управления умным домом (например, для открывания гаражной двери).

Это позволит расширить существующую технологию распознавания речи Spotify. ИИ сможет принимать решение о том, какую музыку воспроизвести, учитывая не только эмоциональное состояние, пол, возраст или акцент, но и обстановку вокруг пользователя.

Получение патента не означает, что Spotify действительно внедрит технологию в свой сервис, но её внедрение позволит предлагать максимально персонализированные рекомендации и релевантную рекламу.

После прекращения поддержки ассистента Cortana для iOS и Android в прошлом году, компания добавила в свои мобильные приложения для iOS расширенные функции голосового ИИ, основанного на Cortana. Это новый этап развития голосового помощника в экосистеме Microsoft.

Дополнительные элементы управления с помощью голоса получат Microsoft Outlook, Teams и Office. По запросу пользователя Outlook-ассистент сможет читать сообщения и назначать встречи, а Teams — звонить, отправлять сообщения и обмениваться файлами. Также во всех системах будет доступна функция голосового поиска.

Управлять умным домом можно через мобильное приложение Сбер Салют, а также с помощью умного экрана SberPortal и умной медиаприставки SberBox. Используя голос или тач-интерфейс, пользователи смогут отдавать команды, регулировать яркость и цвет ламп, включать и выключать их по одной или все вместе, в том числе по таймеру.

Пользователи Android-устройств смогут общаться с Google Assistant, даже если телефон заблокирован или находится в другой комнате.

На экране блокировки ассистент будет предлагать персонализированные рекомендации: позвонить другу, отправить сообщение, включить музыку (в Spotify, YouTube Music и других сервисах), установить таймер или будильник, открыть календарь. Достаточно сказать «Окей, Google» и произнести нужную команду.

Это был наш первый дайджест новостей о voice tech. Будем рады, вашему фидбеку в комментариях.