Стартап Rabbit представил устройство с ИИ-помощником для управления любыми приложениями с помощью голоса

Нейросети «показали», как работают разные сервисы, чтобы она могла использовать их самостоятельно.

Rabbit R1 — автономное устройство, работающее на основе «большой модели действий» (Large Action Model), которая обучена не генерации контента, а выполнению прикладных задач, рассказала компания на конференции CES 2024. The Verge называет технологию «универсальным контроллером для приложений».
Устройство оснащено сенсорным экраном на 2,88 дюйма (примерно половина iPhone), вращающейся камерой, механическим колёсиком прокрутки и разъёмом для SIM-карты. Внутри — процессор MediaTek с частотой 2,3 ГГц, 4 ГБ оперативной памяти и 128 ГБ встроенной.
Работает Rabbit R1 на базе собственной операционной системы Rabbit OS, в основе которой лежит Large Action Model. Например, пользователь может голосом попросить помощника включить песню, заказать такси или доставку, забронировать отель или воспользоваться другим сервисом. ИИ самостоятельно зайдёт в нужное приложение и попросит подтвердить действие.
При этом нейросеть не взаимодействует с API разных сервисов для работы. Вместо этого она обучена пользоваться ими самостоятельно. Разработчики модели «по сути показали ей, как работают разные приложения», поясняет The Verge.
Взаимодействие с приложениями происходит через «защищённую» облачную платформу Rabbit Hole. Для подключения к устройству пользователю нужно авторизоваться в каждом сервисе отдельно.
Кроме того, у Rabbit R1 есть режим обучения. С его помощью можно научить устройство новым действиям — например, удалять водяные знаки с изображений в Photoshop. Для этого нужно попросить помощника зайти в фоторедактор, открыть изображение, выбрать инструмент «лассо», выделить им водяной знак и стереть его. В дальнейшем нейросеть сможет выполнять это действие самостоятельно.