4 причины встраивать искусственный интеллект прямо в устройства
Что такое edge AI и как выбирали функции для офлайн-режима СберБум 2.0.
Как должна вести себя интеллектуальная колонка, если интернет вдруг пропал? Мы полагаем, что оставаться интеллектуальной: например, уметь включать сохранённую музыку. За это отвечает ИИ-модель прямо на устройстве: так называемый локальный ИИ, он же edge AI.
Офлайн-режим в СберБум 2.0 — это edge AI (как и Face ID в вашем смартфоне, и автофокус в камерах). Что локальный ИИ даёт пользователю и как мы внедрили его на колонках — рассказывает продакт-лид направления Аудио.
Зачем пылесосу искусственный интеллект
Локальная ИИ-модель не равна облачной. Она намного меньше и, как правило, умеет выполнять только одну задачу или тип задач. Умная камера в смартфоне отличает владельца от его брата; пылесос «видит» предметы на своём пути. Но для пользователя локальный ИИ часто удобнее, чем облачный. И вот почему:
Скорость
Если устройство обрабатывает данные на месте в режиме реального времени, оно реагирует без задержки: отзывается на споттерное слово или определяет объект через камеру. Поэтому Edge AI часто используют там, где важна быстрая реакция.
Автономность
Для локальной ИИ-модели не нужен интернет. Следовательно, девайс способен офлайн выполнять функции, которые связаны с локальной моделью. Они работают, когда Wi-Fi упал.
Приватность
Пользователю спокойнее, когда ИИ может обрабатывать чувствительные данные прямо на устройстве — биометрию, или фотографию, или запись телефонного разговора, который нужно перевести.
Эффективность
Маленькая локальная ИИ-модель требует меньше заряда батареи и трафика, чем облачная (ради справедливости, это сильно зависит от функции). У компании, в свою очередь, снижается нагрузка на облачные сервера.
ABI Research предполагает, что в 2030 году производители выпустят 2,5 млрд устройств с чипами для локального ИИ — в 160 раз больше, чем в 2020 году. Потому что это удобно.
Как научить колонку работать без интернета
Благодаря модели распознавания голоса, которая «живёт» и работает прямо на устройстве, СберБум 2.0 способна понимать команды офлайн. Локальная работа помогает в двух особенно уязвимых моментах пути пользователя:
Когда он только купил устройство
Даже если человек не понимает, как активировать колонку и подключить к Wi-Fi, СберБум 2.0 и без интернета способна объяснить, что сделать для подключения.
Когда пропал интернет
Мы отобрали для переноса в офлайн сценарии повседневного использования колонки с опорой на три критерия:
- частота использования функции;
- её важность;
- возможность выполнить задачу локально.
Так, чаще всего колонку используют, чтобы включить музыку и управлять воспроизведением. А умный дом должен работать даже при отключённом интернете: только так на него можно положиться.
Мы уже рассказывали, как работает распознавание голоса в умных колонках. В целом локальное устроено так же, только ИИ-модель очень маленькая и хранится прямо на устройстве.
В модели 233 млн параметров, вместе с тем она сжата так, чтобы умещаться на колонке (где в общей сложности 4 Гб встроенной памяти и 1 Гб оперативной).
Кстати, это один из важных стопперов развития edge AI: какой бы маленькой ни была локальная ИИ-модель, это всё-таки не Doom, который запускают на плитах, микроволновках и электронных градусниках. Ей нужен определённый объём встроенной памяти, чтобы где-то храниться, и оперативной — чтобы выполняться.
Локальную модель обучили на том же датасете, что и «облачную»: на парах из аудиозаписи и её расшифровки. СберБум 2.0 понимает без интернета команду в разных формулировках. Поэтому для датасета собирали синонимы каждой из команд — ведь, например, выключить будильник можно пятьюдесятью разными способами.
Набор токенов (текст), который распознала СберБум 2.0, отправляется в ещё одну локальную модель. Она обучена одной задаче: определять по тексту, чего хочет пользователь. Команда отправляется на выполнение в прошивку колонки.
Без Wi-Fi владелец интеллектуальной колонки может:
- включать голосом сохранённые треки из сервиса Звук — на устройство можно скачать до 200 треков;
- управлять воспроизведением этих треков: переключать песни, настраивать громкость и так далее;
- включать и выключать bluetooth, останавливать таймер или будильник;
- управлять умным светом, розетками и другими устройствами умного дома, которые подключены к колонке по беспроводным протоколам Zigbee и Matter. Да, эти устройства тоже работают без интернета.
Ключевые задачи офлайн-режима в СберБум 2.0 — это рост успешных активаций колонки и рост доверия к устройству, способному сохранять базовые навыки без интернета. Офлайн-режим способен стать будущим умных устройств и устройств умного дома. Базовые функции будут работать, если пропал интернет; музыка, календарь, таймеры и будильники останутся с пользователем. В оптимальном случае умный дом продолжит даже учитывать офлайн контекст жизни владельца: его режим жизни, состав семьи, их привычки и предпочтения. Да, и эти данные тоже будут храниться локально!