С помощью метода обучения PockEngine, модели машинного обучения могут эффективно и непрерывно обучаться на основе пользовательских данных на периферийных устройствах.
Персонализированные модели глубокого обучения позволяют чат-ботам на основе искусственного интеллекта адаптироваться к акцентам пользователей и умным клавиатурам — более точно предсказывать следующее слово, исходя из истории набора текста пользователя. Для настройки этих моделей требуется постоянное обновление с использованием новых данных.
Из-за ограниченной памяти и вычислительной мощности смартфонов и других периферийных устройств данные пользователя обычно отправляются на облачные серверы для обновления модели. Однако это не только потребляет много энергии, но и создает риски безопасности при передаче чувствительных данных.
Исследователи из Массачусетского технологического института, MIT-IBM Watson AI Lab и других учреждений разработали метод, который позволяет моделям глубокого обучения адаптироваться к новым данным сенсоров непосредственно на периферийном устройстве. Их метод, названный PockEngine, определяет, какие части обширной модели машинного обучения нуждаются в обновлении для улучшения точности. Он хранит и обрабатывает только эти специфические части. Большинство вычислений проводится во время подготовки модели, до ее запуска, что уменьшает вычислительную нагрузку и ускоряет процесс настройки.
PockEngine значительно ускорил обучение моделей непосредственно на устройствах, работая до 15 раз быстрее на некоторых платформах. При этом точность моделей не снижалась. Исследователи также обнаружили, что их метод настройки позволил популярному ИИ чат-боту более точно отвечать на сложные вопросы.
"Тонкая настройка на устройстве может обеспечить лучшую конфиденциальность, снижение затрат, возможность кастомизации, а также непрерывное обучение, но это нелегко. Все должно происходить при ограниченном количестве ресурсов. Мы хотим иметь возможность выполнять на граничном устройстве не только вывод, но и обучение. С PockEngine это стало возможным", - говорит Сонг Хан (Song Han), доцент кафедры электротехники и вычислительной техники (EECS), член лаборатории MIT-IBM Watson AI Lab, видный ученый в NVIDIA и старший автор статьи с открытым доступом, описывающей PockEngine.
Вместе с Ханом в работе над статьей участвует ведущий автор Лигенг Жу (Ligeng Zhu), аспирант EECS, а также другие сотрудники MIT, MIT-IBM Watson AI Lab и Калифорнийского университета в Сан-Диего. Работа была недавно представлена на Международном симпозиуме IEEE/ACM.