Alibaba запустила ИИ-модели для навигации и управления роботами

Alibaba представила Qwen-Robot Suite — набор ИИ-моделей для роботов и задач в физической среде. В него вошли три разработки: Qwen-RobotNav для навигации, Qwen-RobotManip для действий с объектами и Qwen-RobotWorld для прогнозирования развития сцены.

Привет! На связи команда CryptoCloud.

Компания описывает проект как «полный стек для воплощенного ИИ». В отличие от обычных языковых и мультимодальных моделей, такие системы должны не только понимать текст, изображения и видео, но и переводить команды в физические действия: перемещаться, искать предметы, учитывать пространство и прогнозировать последствия своих решений, сообщает Forklog.

Qwen-RobotNav отвечает за перемещение роботов. Модель объединяет пять задач: следование инструкциям, движение к заданной точке, поиск объектов, отслеживание цели и автономное вождение. По данным Alibaba, она обучена на 15,6 млн образцов и может использоваться как часть более крупных агентных систем, где одна модель планирует задачу, а Qwen-RobotNav отвечает за маршрут.

Qwen-RobotManip предназначена для работы с предметами. Она должна помогать роботам брать, перемещать и размещать объекты, а также переносить навыки между разными типами устройств. Это важно, потому что разные роботы используют разные форматы команд, координаты и механизмы движения. Для обучения модели Alibaba использовала более 38 100 часов данных, включая открытые робототехнические датасеты, видео действий человека и синтетические демонстрации.

Qwen-RobotWorld работает как модель мира для роботов. Она получает текущее наблюдение и текстовую команду, а затем прогнозирует, как может измениться сцена после действия. Такой подход можно использовать для навигации, манипуляций, автономного вождения, планирования и генерации синтетических обучающих данных.

Qwen-Robot Suite уже проходит пилотные испытания у отдельных корпоративных клиентов Alibaba Cloud в сфере робототехники. Однако пока это не готовая потребительская платформа, а набор моделей для тестирования и интеграции.

Главные сложности остаются прежними: шум сенсоров, ошибки восприятия, износ механизмов, нестандартные ситуации и большое число редких сценариев в реальной среде. Кроме того, часть результатов таких систем обычно проверяется в симуляциях или ограниченных тестовых условиях.

CryptoCloud — это надежный и выгодный способ принимать криптовалютные платежи на сайте, в интернет-магазине и других платформах. Мы предлагаем низкие комиссии, разнообразие платежных инструментов, постоянную поддержку и многое другое.

Если вы поставите лайк и подпишитесь на наши обновления, то точно не пропустите новых полезных статей.