Чем занимается ИИ-подразделение Apple: прогнозы уровня глюкозы, распознавание намерений и другие задачи

Издание OneZero выбрало основные работы подразделения.

Apple активно занялась развитием технологий искусственного интеллекта с 2016 года.

Тогда компания назначила эксперта по глубокому обучению Руслана Салахутдинова главой исследовательского ИИ-подразделения компании и запустила открытый исследовательский блог, посвященный разработкам в области искусственного интеллекта и машинного обучения.

Не все разработки исследователей могут превратиться в продукты, но по блогу можно понять, над чем они работают — например, над улучшением Siri и медицинских сервисов.

Многие исследования из блога посвящены улучшению виртуального ассистента Apple Siri, который уступает Google Assistant и Alexa по возможностям.

Инженеры Apple пытаются помочь Siri лучше понимать смысл вопросов, определять эмоции людей во время произнесения команды и распознавать акустическую активность.

Например, в демонстрационном видео «умная» колонка HomePod с Siri слушает шум на кухне и спрашивает «Что это за звук?», на что исследователь отвечает «микроволновка».

Есть исследования, посвященные улучшению распознавания голосовых триггеров (команде «Привет, Siri») для «умных» колонок, которые не всегда могут корректно распознать речь из-за окружающего шума или громкого воспроизведения музыки на самом устройстве.

Одна из актуальных летних статей Apple описывает, как Siri может понимать намерения пользователя и предугадывать, что человек хочет от помощника. В ней исследователи описывают метод, который учитывает не только что говорит пользователь, но и контекст и окружение: местоположение, историю запросов к Siri и браузера, а также, находится ли человек за рулём.

Другие улучшения Siri связаны с многоязычностью: Apple создала набор данных, чтобы оценить качество ответов на вопросы на 26 языках по сравнению с английским вариантом. А в мае исследователи описали принцип работы распознавания эмоций человека по его голосу.

В августе 2020 года исследователи Apple рассказали о попытках найти правильные дозы инсулина, объединив алгоритмы ИИ с более традиционными моделями прогнозирования. Команда признала, что не решила проблему, но предложила новый подход прогнозирования уровня глюкозы.

В целом виден интерес Apple к сфере здравоохранения и поиске новых технологий и способов использовать продукты компании в этой области. Сюда же относится и развитие Apple Watch.

В октябре 2020 года исследователи описали работу инструмента Rescribe, упрощающего запись аудиоописаний для видео. По сути аудиоописания — это закадровый голос для видео, описывающий происходящее на экране.

Цель Rescribe — позволить записывать описания в одиночку, без звукорежиссеров, актеров озвучания и продюсеров. В том числе он может автоматически оптимизировать речь под временные промежутки.

#apple #ии #siri