Команда из США представила LegoGPT: ИИ-модель «понимает физику» и «придумывает» конструкции по текстовому описанию

Исследователи говорят, что навыки модели можно будет применять не только для наборов Lego на заказ, но и в других сферах.

Другие ИИ-модели могут сгенерировать изображение, похожее на фигурку из конструктора, но не понимают «физику реального мира» — повторить такой набор не получится, рассказала исследовательница Университет Карнеги-Меллона Ава Пан изданию The Register.

Чтобы решить эту проблему, команда дообучила модель Llama-3.2-1B-Instruct от Meta* «собирать» фигурки из кубиков с учётом законов физики по текстовому описанию. LegoGPT разрабатывает 3D-модели «устойчивых» конструкций, проектируя их снизу вверх.

Пример дивана, спроектированного LegoGPT

Команда показывает, что разработанные ИИ конструкции можно собрать из существующих кубиков. На видео робот собирает модель корабля

Пока она может генерировать только небольшие фигурки 20 x 20 x 20 кубиков из восьми «базовых» типов кирпичиков Lego, но команда собирается продолжить обучение.
Она считает, что с помощью технологии можно делать персонализированные наборы Lego по фотографии или текстовому описанию. В будущем модель обучат работать и с другими материалами, тогда её смогут использовать, например, производители мебели на заказ.
Пресс-служба Lego ответила изданию The Register, что «на данный момент не может давать комментарии» по поводу разработки.

LegoGPT также обучили добавлять текстуры и рисунки к наборам

Команда выложила демоверсию, в которой можно прислать ИИ-модели текстовое описание фигурки. Нейросеть в ответ создаёт изображение и инструкцию по сборке. Пока она работает с перебоями.
Исследователи выложили набор обучающих данных StableText2Lego с 47 тысячами конструкций Lego, а также исходный код модели.

*Meta признана в России экстремистской и запрещена.