Неужели Stable Diffusion 3 только что обошла Midjourney V6 и Dall-E3?
Компания Stability AI только что сбросила бомбу на мир искусственного интеллекта для создания изображений: Stable Diffusion 3 (SD3). На данный момент это самый продвинутый и мощный генератор изображений, который они выпустили, с огромными улучшениями по сравнению с уже впечатляющей Stable Diffusion 2.1, выпущенной более года назад.
Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!
Итак, что же нового в Stable Diffusion 3?
- Поддержка рендеринга текста
- Улучшенная производительность
- Многосубъектные промпты
- Улучшенное качество изображения
SD3 также использует архитектуру диффузионного трансформатора, которая похожа на Sora от OpenAI. Позволяет ли это предположить, что SD3 также способен генерировать видео? Эта интригующая возможность - тема для другого разговора.
В этой статье я собираюсь сравнить изображения, сгенерированные SD3, с двумя самыми популярными и мощными генераторами изображений для ИИ - Midjourney V6 и Dall-E 3.
Давайте приступим.
Промпт №1
Photo of a red sphere on top of a blue cube. Behind them is a green triangle, on the right is a dog, on the left is a cat
Вот изображение, полученное с помощью Stable Diffusion 3:
Больше всего меня привлекает зеленый оттенок на шеях кошки и собаки. Похоже, SD3 умеет понимать окружающую обстановку и имитировать отражения.
Я не могу не задаться вопросом, не научилась ли она этому трюку втайне от всех, используя данные о закулисных фотосессиях с зелеными экранами.
В отличие от этого, изображения Midjourney V6 и Dall-E 3, хотя и впечатляют, но по-разному.
Midjourney V6 странно расположил животных на синих кубиках, в то время как результаты Dall-E 3 были обескураживающе бессвязными. SD3 побеждает в этом раунде за то, что результат соответствует промпту.
Промпт №2
Resting on the kitchen table is an embroidered cloth with the text ‘good night’ and an embroidered baby tiger. Next to the cloth there is a lit candle. The lighting is dim and dramatic
Вот что получилось у SD3:
Это прекрасная фотография крупным планом. Мне нравится, как размыты боковые стороны и сфокусированы на тигре и тексте. Детализация вышивки также фантастическая. Вы можете практически почувствовать колючую текстуру стежка, а также то, как он становится более пушистым по мере удаления.
А вот как выглядят результаты конкурентов:
Midjourney, как и ожидалось, отличается фирменными темными тонами и точным освещением. Dall-E 3 также отлично справился с этой работой, хотя оба они добавили несколько других элементов, которых нет в промпте.
Кому-то это кажется обманом? Для меня победителем стал SD3, строго придерживающийся промпта... хотя я бы не стал осуждать никого за то, что он был сражен художественной интерпретацией Midjourney.
Промпт № 3
Photo of an 90’s desktop computer on a work desk, on the computer screen it says “welcome”. On the wall in the background we see beautiful graffiti with the text “SD3” very large on the wall.
Вот как SD3 интерпретировал промпт:
Огромный текст так органично сочетается с фоном. И обратите внимание, насколько единообразен шрифт. Это выглядит как иллюстрация, созданная прямо в Photoshop.
А теперь давайте посмотрим, что получилось у Midjourney и Dall-E 3:
С точки зрения стиля и деталей, Midjourney - лучший выбор. Но промпт требовал очень большого текста на стене - Midjourney этого не сделал. Поэтому с точки зрения согласованности здесь лучший вариант - SD3. Результат Dall-E 3 оставляет желать лучшего.
Промпт № 4
Three transparent glass bottles on a wooden table. The one on the left has red liquid and the number 1. The one in the middle has blue liquid and the number 2. The one on the right has green liquid and the number 3.
SD3 прекрасно справился с промптом.
Вот результаты Midjourney и Dall-E 3:
Изображения, сгенерированные в Midjourney и Dall-E 3 также впечатляют, причем каждый генератор обладает своими уникальными эстетическими качествами. Лично я считаю, что Midjourney изображает ссохшийся стол и ржавые бутылки особенно захватывающе.
Вот и все. Чтобы получить большее представление о том, на что она способна, обязательно загляните в профиль X генерального директора Stability AI Эмада. Он часто публикует изображения, созданные с помощью SD3.
Честно говоря, где SD3 занимает первое место, так это в своем безумно точном понимании промптов. Когда вы хотите получить именно то, что описали, она это делает. Но Midjourney все еще держит свои позиции, когда дело доходит до уникальной, художественной выразительности, которая может поднять изображения на новый уровень.
Что вы думаете об этой новой модели с открытым исходным кодом? Считаете ли вы, что она достаточно хороша, чтобы превзойти других конкурентов, таких как Adobe Firefly, Amazon Titan G1 или Imagen 2 от Google?
Глядя на примеры изображений, становится ясно, что SD3 превосходит своих крупнейших конкурентов в генерации текста и согласованности промптов. Однако с точки зрения качества изображения я по-прежнему считаю Midjourney лидером.
Но почему это так важно?
В отличие от своих основных конкурентов, Stable Diffusion всегда был и остается программой с открытым исходным кодом, совершенно бесплатной для использования! Это значит, что скоро вы сможете бесплатно скачать SD3 и запустить его локально. Такая свобода очень важна.
Но есть и огромный минус - она также вызывает серьезные, и я имею в виду серьезные, этические проблемы. Представьте себе, что можно получить еще более правдоподобные изображения и видео с дипфейком.
Технология SD3 также намекает на то, что ее потенциал выходит за рамки изображений. Неужели мы стоим на пороге конкуренции с такими генераторами видео, как Sora от OpenAI или Genie от LumaLab? Теперь все становится по-настоящему интересным.
Если вам интересна тема нейросетей, подпишитесь пожалуйста на мой канал про нейросети, а если вы хотите больше узнать про генерацию изображений, добро пожаловать в этот канал!
Источник - здесь.
Комментарий удален модератором
SD можно управлять , в SD есть Lora , ControlNet , Animate Diff , Lycorics и много много много ещё чего другого... Кроме того , Sd можно учить самому ....
Мне тоже, но каждому - свое ).
SD всегда была лучше MJ и будет. Это как сравнивать раскраску для детей и умение самому, что угодно нарисовать.
главный плюс SD - что он может генерить порнуху
Где качать?
не будет там
We believe in safe, responsible AI practices. This means we have taken and continue to take reasonable steps to prevent the misuse of Stable Diffusion 3 by bad actorsв версии 1.5 во второй уже выпилили
У меня даже в Шедевруме получается, несмотря на монструозные фильтры. Включая прон с деятелями политики))
В любом случае, хорошо, когда есть выбор. Продолжаю юзать MJ6 из-за удобства и wow-эффекта, хотя он уже многим начинает приедаться, надо экспериментировать со стилями. А с DALL-E неплохо генерировал изображения с текстом, логотипы.
А где-то можно онлайн потыкать SD3, не скачивая себе клиент и гигабайты файлов?
С количеством пальцев и косоглазием разобрались у людей?
Думаю, да, но пока неопревержимых доказательств нет ).
А разве были проблемы с этим?
Генерирует классно, по крайней мере я явных косяков на изображениях не нашел.
Я тоже. Будет интересно потестить с разными промптами.
людей не может - какие то монстры получаются
Секундочку , дайте пару минут
Ахахах, шляпа короче как была так и осталась))
а...? Вы вообще понимаете, что SD крайне чувствительна к параметрам, которые вы указали при генерации? это не далли или миджорни. Тут ты сам себе предоставлен. Людей она рисует также, как и далли/миджорни
Явно косяк с неверно подобранным разрешением
По моему самое важное что завезли в новой SD, так это соответствие промпта и результата. Нужно было дичайше извернуться что бы получить сложную сцену в SDXL и моделях ниже, в частности без расширений.
Я немного потыкал SDXL на одной из моделей. Вот что вышло за 3-10 прокруток.
На тех же самых промптах что в посте. Не знаю какую выборку делали в Стабили АИ. Хочется верить что их модель била точно и метко за 1-3 прокрутки максимум
Control Net позволяет очень точно сделать что хочется , но там нужно немного навыка работы с Blender
Stable Diffusion это если что не OpenAI а Stability AI
впечатляюще конечно но обошла ли, это вопрос, нужно хорошенько потестить и если так, это просто конечно шикарно, поставил себе на комп и пользуйся бесплатно
да , прогресс не стоит на месте , это же очевидно
А требования по ram какие у sd3 известно?
SD 3 от 800 млн до 8 млрд параметров , для сравнения - SD XL - 6.6 млрд параметров. Памяти нужно будет даже меньше чем для SD XL
Где вы прогресс увидели? Как были кривопалые косоглазые, так и остались))
Смешной.
Будем ждать полноценного релиза! )
а я вот не понимаю, что за 3 версия? у меня вот 1.5? это чекпойнт модель? ее загрузить в автоматик1111 и все?