Гайд: Как запустить Stable Diffusion прямо на Mac и использовать кастомные модели (18+)

Всем привет, меня зовут Лёша и я веду свой канал в котором пишу о том, что мне интересно (по большей части все в около-IT-шной-AI-ной-Design-cкой тематике).

В этой инструкции кратко изложу как поставить популярную модель генерации изображений Stable Diffusion прямо на ваш Macbook и затем «накатывать» кастомные fine-tuned модели, которые могут в разные тематики.

Внимание, материал с отметкой 18+ так как в каталоге есть модели для взрослых, которые могут генерировать изображения порнографического характера. Если что, я к этим моделям не имею никакого отношения, натренировали их умельцы с простор интернета.

Понадобится примерно 15-20 минут.

Преимущества такого способа использования SD очевидны:

1 — это бесплатно;

2 — можно использовать кастомные модели;

3 — можно пользоваться прямо на ПК;

4 — можно натренировать свою модель и использовать ее;

Минусы: это достаточно ресурсоемко + не на всех маках будет работать.

Итак, поехали:

Убедитесь, что ваш Mac поддерживает Stable Diffusion — здесь есть два важных момента:

• Во-первых, вам понадобится Mac на M1 или M2, чтобы все работало. Предыдущие версии Mac не все будут поддерживаться, но запустить на Intel тоже можно.
• Во-вторых, вам нужно обновиться до последней версии macOS Monterey, прежде чем пытаться использовать Stable Diffusion — со старыми версиями macOS могут быть проблемы.

Идем на сайт DiffusionBee. Находим кнопку «Загрузить для macOS» и жмем.

устанавливаем DiffusionBee на мак:

После установки все готово к использованию. Запустите приложение — в нем уже стоит базовая модель Stable Diffusion. В верхней части вы увидите вкладку «Text to image». Это уже привычный многим инпут куда нужно ввести ваш prompt и нажать на кнопку Generate. Подождать какое-то количество минут в зависимости от мощности вашего ПК и видеокарты в частности. И вуаля, ваше изображение готово!

Рядом с кнопкой Generate есть возможность настройки, например, можно добавить инпут с минус-словами или выбрать какую модель вы хотите использовать для генерации. Так мы плавно переходим ко второй части. Базовая модель Stable Diffusion выдает не особо «интересные» изображения. Сколько я не пытался, получить что-то хорошее, что можно было бы показать у меня не вышло. В таком случае выручают кастомные fine-tuned модели.

Есть очень простой способ найти, установить и начать генерировать изображения с помощью кастомных моделей. По шагам:

Переходим на сайт Civitai.com (предупреждение: на сайте есть модели способные генерировать изображения для взрослых).

Это каталог моделей, которые были натренированы людьми под различные тематики: аниме, кино, мультфильмы или даже какая-то конкретная внешность.

Выбираем подходящую модель и переходим на внутреннюю страницу. Внутри можно ознакомиться с параметрами, примерами изображений от других пользователей, примерами prompt'ов.

Выбранную модель можно скачать. Обратите внимание, что разрешение скачиваемой модели должно быть .ckpt

Модель скачали, теперь переходим обратно в DiffusionBee и жмем на иконку бургера в правом верхнем углу (три палочки) и выбираем Settings.

В открывшемся окне нажимаем Add New Model и выбираем недавно скаченную модель. Нужно будет подождать пока модель загрузится (время ожидания будет зависеть от вашего ПК).

После того как модель загрузилась переходим обрано на вкладку «Text To Image» и нажимаем Options. Пролистываем вниз и в графе Custom Model выбираем модель, которую только что установили.

Все готово! Теперь можете прописывать prompt и жать кнопку Generate. Новое изображение будет сгенерированно кастомной моделью. Качество, размер и другие параметры можете задать на все той же вкладке Options, но обратите внимание, чем более качественное изображение вы хотите сгенерировать, тем больше ресурсов вашего ПК потребуется и собственно времени ожидания тоже.

Напоследок прикрепляю несколько изображений, которые мне удалось сгенерировать с помощью кастомной модели «Deliberate».

Подписывайтесь на канал, что бы не пропускать другие посты:

#stablediffusion #diffusionbee #гайд #гайды #civitai