Создатели FLUX выпустили открытую модель для управления роботами
Black Forest Labs представила FLUX 3 Action, модель на 7 млрд параметров с открытыми весами. Она одновременно рассчитывает действия робота и предсказывает, как после них изменится окружающий мир.
Модель получает изображения с камер и данные о положении робота, выполняет несколько движений, снова оценивает сцену и при необходимости корректирует план.
Более 95% данных на предварительном этапе составляло видео, поэтому модель сначала получила представление о движении и физике мира, а уже затем ее обучили управлять роботами.
На RoboLab-120 лучший вариант FLUX 3 Action показал 42,9% успешных задач против 36,8% у Cosmos 3 Nano и 28% у π0.5. При этом FLUX 3 Action меньше и в некоторых конфигурациях работает почти в четыре раза быстрее.
BFL также объединила модель с GPT-6 Astra. FLUX отвечает за быстрые движения, а Astra подключается для сложного планирования. Такая связка решила 90% тестовых эпизодов.
Веса модели уже опубликованы. В будущем ту же архитектуру хотят использовать не только для роботов, но и для агентов, которые смогут видеть интерфейс и управлять программами.