Команда из США представила LegoGPT: ИИ-модель «понимает физику» и «придумывает» конструкции по текстовому описанию
Исследователи говорят, что навыки модели можно будет применять не только для наборов Lego на заказ, но и в других сферах.
Сборка фигуры, сгенерированной LegoGPT. Здесь и далее источник: Университет Карнеги-Меллона
- Другие ИИ-модели могут сгенерировать изображение, похожее на фигурку из конструктора, но не понимают «физику реального мира» — повторить такой набор не получится, рассказала исследовательница Университет Карнеги-Меллона Ава Пан изданию The Register.
- Чтобы решить эту проблему, команда дообучила модель Llama-3.2-1B-Instruct от Meta* «собирать» фигурки из кубиков с учётом законов физики по текстовому описанию. LegoGPT разрабатывает 3D-модели «устойчивых» конструкций, проектируя их снизу вверх.
Пример дивана, спроектированного LegoGPT
Команда показывает, что разработанные ИИ конструкции можно собрать из существующих кубиков. На видео робот собирает модель корабля
- Пока она может генерировать только небольшие фигурки 20 x 20 x 20 кубиков из восьми «базовых» типов кирпичиков Lego, но команда собирается продолжить обучение.
- Она считает, что с помощью технологии можно делать персонализированные наборы Lego по фотографии или текстовому описанию. В будущем модель обучат работать и с другими материалами, тогда её смогут использовать, например, производители мебели на заказ.
- Пресс-служба Lego ответила изданию The Register, что «на данный момент не может давать комментарии» по поводу разработки.
LegoGPT также обучили добавлять текстуры и рисунки к наборам
- Команда выложила демоверсию, в которой можно прислать ИИ-модели текстовое описание фигурки. Нейросеть в ответ создаёт изображение и инструкцию по сборке. Пока она работает с перебоями.
- Исследователи выложили набор обучающих данных StableText2Lego с 47 тысячами конструкций Lego, а также исходный код модели.
*Meta признана в России экстремистской и запрещена.
37 комментариев