LegoGPT создает модели Lego на основе текстовых описаний
Команда Университета Карнеги-Меллон представила LegoGPT, систему искусственного интеллекта, которая генерирует модели Lego на основе текстовых описаний. Модели не только визуально точны — их действительно могут создавать как люди, так и роботы.
LegoGPT работает на основе языковой модели с авторегрессией, которая предсказывает следующий кирпичик Lego в сборке, аналогично тому, как текстовые модели предсказывают следующее слово в предложении. Исследователи обучили свою систему на пользовательском наборе данных под названием StableText2Lego, содержащем более 47 000 стабильных конструкций Lego. Описания, связанные с каждой сборкой, были созданы с использованием GPT-4o на основе 3D-рендеринга.
Проверки, основанные на физике, позволяют поддерживать жизнеспособность моделей
При создании каждой модели LegoGPT проверяет каждое размещение кирпичей на предмет столкновений, неправильных положений и физической нестабильности. Если система обнаруживает проблему, она возвращается к последнему стабильному состоянию — процесс, который авторы называют "откат с учетом физики". Выборка отклонения также используется для фильтрации недействительных блоков перед их добавлением.
Анализ устойчивости основан на физической модели, которая учитывает все силы, действующие на каждый кирпич, включая сжатие, растяжение и сдвиг. Принимаются только конструкции, достигающие статического равновесия.
При тестировании с другими системами генерации 3D, такими как LLaMA-Mesh, XCube и Hunyuan3D-2, LegoGPT показал гораздо более высокий процент стабильных сборных моделей. В то время как другие методы часто создают нестабильные или невозможные конструкции, LegoGPT обеспечивает стабильность результатов на 98,8%.
Реальные цвета lego и текстуры искусственного интеллекта
Модели Lego не были бы такими увлекательными без цвета. LegoGPT может добавлять в свои творения как цвета, так и текстуры. Например, диван, описанный как "Японская ткань шибори", имеет структурированную поверхность цвета индиго, а "киберпанковская огненная краска" светится неоново-фиолетовым. Текстурирование выполняется с помощью FlashTex, быстрого метода нанесения текста на сетку.
В дополнение к УФ-текстурам, LegoGPT поддерживает сплошную раскраску с использованием официальных цветов Lego, поэтому дизайны могут работать как в цифровом виде, так и в реальных сборках.
Более подробная информация и образцы сборок доступны на странице проекта LegoGPT. Также есть демо-версия на HuggingFace