Роботы наконец учатся делать что-то реальное: Помощь по хозяйству
Новое поколение роботов способно выполнять некоторые домашние обязанности с необычным мастерством. Стартап из Сан-Франциско Physical Intelligence представил систему машинного обучения π0 (произносится как «пи-ноль»), которая позволяет роботам выполнять сложные задачи по хозяйству, требующие координации и ловкости, такие как складывание одежды и уборка столов. Компания также сообщила о привлечении инвестиций в размере $400 млн от OpenAI, Джеффа Безоса и нескольких венчурных фондов Кремниевой долины.
Как это работает: π0 — это модифицированная версия предобученной модели PaliGemma, использующей принцип flow matching (метод, аналогичный диффузии, где модель учится удалять шум из данных). Пользователь вводит текстовую команду, и робот с помощью сенсоров преобразует случайное действие в осмысленное, удаляя шум.
Для обучения использовался набор из 10 000 часов записей состояний и действий роботов, а также текстовых команд. Данные собирались с использованием семи различных типов роботов (например, стационарной руки и мобильных роботов) и 68 задач (например, складывание белья, приготовление кофе, уборка стола).
После предобучения π0 была дообучена на 15 новых задачах, что улучшило выполнение сложных многоэтапных операций, таких как упаковка еды.
Процесс работы:
- Камера робота фиксирует сцену.
- SigLIP преобразует изображения в эмбеддинги, которые подгоняются под размер входных данных для Gemma.
- Gemma принимает изображения, текстовую команду, состояние робота, временной шаг и 50 шумных токенов действий, постепенно удаляя шум. Для длинных задач процесс повторяется.
Однако есть и ограничения: робот иногда ошибается. Например, в одном из видео он кладёт слишком много яиц в коробку и пытается её закрыть, или сбрасывает контейнер со стола вместо того, чтобы наполнить его.
Почему это важно: Роботы долгое время отставали от машинного обучения, но революция в генеративном ИИ ускорила их развитие. Хотя роботы для дома ещё не стали повседневностью, π0 показывает, что они способны выполнять задачи, востребованные людьми. Несмотря на сложность получения данных для роботов, похоже, начинается новая эра крупных моделей для робототехники.