Stability AI выпустила улучшенную модель для генерации 3D объектов, а OpenAI "сливают" новую GPT-4.5
Этот проект был в разработке длительное время, и недавно команде разработчиков удалось значительно повысить эффективность обучения и улучшить работу с неочевидными частями объектов.
Инструмент, предназначенный для некоммерческих целей, был выпущен несколько дней назад (но это не точно). Пользователям достаточно загрузить изображение, и искусственный интеллект сгенерирует детализированный рендер выбранного объекта.
Улучшения
Ребята поработали над моделью, улучшив по сравнению с предыдущими версиями:
- исходный датасет 3D моделей для точности генерации;
- углы камеры, что дает точные проекции модели;
- загрузчик данных, который в совокупности увеличил эффективность обучения в 40 раз.
Модель GPT-4.5 с 3D моделированием
В то же время, GPT продолжает обучение в области работы с 3D-моделями, хотя маркетологи из OpenAI, видимо, решили пойти на поводу у технологических гигантов и тоже "слить" скрин разработчика с предстоящим анонсом новой модели GPT-4.5.
"Слив" - это своего рода анонс, чтобы подогреть желание аудитории.
Тут говорится, что модель будет работать с 3D объектами и взаимодействовать в одном контексте с разными модальностями (картинки, текст, звук, видео на разных языках). Ну и цены на токены старых моделей будут чуть-чуть ниже.
Данный релиз основывается на технологии предшествующего генератора Zero123. Модель была дополнительно обучена на датасете, содержащем 800.000 3D объектов.
Это, по сути, улучшение существующих технологий, благодаря превосходной базе NERF и высококачественным исходным материалам. Программу уже можно установить на локальный компьютер, однако, как обычно, Stability рекомендует использовать не менее 24 гигабайт VRAM для её оптимальной работы.
В основе системы лежит SD 1.5, которая генерирует каждый новый вид камеры, обеспечивая консистентность модели с различных ракурсов.
Установка
На haggingface есть инструкция по установке и веса. Тут не вижу смысла расписывать. Единственно, как сказал выше, сразу запасайтесь железом, если хотите поставить локально.