Команда из США представила LegoGPT: ИИ-модель «понимает физику» и «придумывает» конструкции по текстовому описанию

Исследователи говорят, что навыки модели можно будет применять не только для наборов Lego на заказ, но и в других сферах.

Сборка фигуры, сгенерированной LegoGPT. Здесь и далее источник: Университет Карнеги-Меллона
Сборка фигуры, сгенерированной LegoGPT. Здесь и далее источник: Университет Карнеги-Меллона
  • Другие ИИ-модели могут сгенерировать изображение, похожее на фигурку из конструктора, но не понимают «физику реального мира» — повторить такой набор не получится, рассказала исследовательница Университет Карнеги-Меллона Ава Пан изданию The Register.
  • Чтобы решить эту проблему, команда дообучила модель Llama-3.2-1B-Instruct от Meta* «собирать» фигурки из кубиков с учётом законов физики по текстовому описанию. LegoGPT разрабатывает 3D-модели «устойчивых» конструкций, проектируя их снизу вверх.
Пример дивана, спроектированного LegoGPT
Команда показывает, что разработанные ИИ конструкции можно собрать из существующих кубиков. На видео робот собирает модель корабля
  • Пока она может генерировать только небольшие фигурки 20 x 20 x 20 кубиков из восьми «базовых» типов кирпичиков Lego, но команда собирается продолжить обучение.
  • Она считает, что с помощью технологии можно делать персонализированные наборы Lego по фотографии или текстовому описанию. В будущем модель обучат работать и с другими материалами, тогда её смогут использовать, например, производители мебели на заказ.
  • Пресс-служба Lego ответила изданию The Register, что «на данный момент не может давать комментарии» по поводу разработки.
 LegoGPT также обучили добавлять текстуры и рисунки к наборам
  • Команда выложила демоверсию, в которой можно прислать ИИ-модели текстовое описание фигурки. Нейросеть в ответ создаёт изображение и инструкцию по сборке. Пока она работает с перебоями.
  • Исследователи выложили набор обучающих данных StableText2Lego с 47 тысячами конструкций Lego, а также исходный код модели.

*Meta признана в России экстремистской и запрещена.

28
5
1
37 комментариев