Stable Diffusion в Photoshop. Руководство по установке плагина для работы с локальным сервером SD

Всем привет. Сегодня мы продолжаем, вопреки всем цыганам, устанавливать и настраивать бесплатный ML/AI генеративный движок Stable Diffusion в наши пайплайны. Поехали?(!)

По ссылке вы можете посмотреть таймлапс демо работы данного плагина

0. Чек-лист

  1. Adobe Photoshop версии не ниже v24
  2. Automatic1111 Stable Diffusion с web-api (который мы установили в прошлый раз)
  3. Node JS отсюда в нашем случае для Windows (установите по дефолту все кроме галочки install additional tools)
  4. Желание использовать бесплатно один из лучших проектов в области Generative Art

1. Инструкция

Если вы молодец-пирожок и умеете в github и инструкции самостоятельно — тут линк на гит автора, откуда собственно я и брал этот плагин.

Если же вы, умный но ленивый пользователь, который любит чтобы все разложили по-полочкам, следуйте пожалуйста дальнейшим шагам.

1.1 Для тех у кого все ещё работает оплата Creative Cloud

Для вас, счастливчиков, все элементарно просто:

  1. Загружаете на свой компьютер .ccx файл отсюда
  2. Запускаете этот файл двойным кликом, соглашаетесь с установкой
  3. profit!

На самом деле, конечно же еще нет. Мы всего-то только установили плагин в Photoshop, который нам предстоит связать с api Stable Diffusion. Можете пролистать статью ниже, до пункта 2.

1.2 Для тех кто следует заветам коммунистов

Для вас, умных достаточно для того, чтобы не задавать лишних вопросов (гдем взятьм) , в этот раз все будет не сильно сложнее. Повезло!

  1. Загружаете на свой компьютер .zip файл отсюда
  2. Распаковываете этот архив в папку с таким же именем (как и сам файл)
  3. Перемещаете эту папку в папку с плаг-инами Adobe Photoshop (по умолчанию C:\Program Files\Adobe\Adobe Photoshop 2023\Plug-ins)
  4. profit!

1.3 Опциональный шаг, но очень рекомендованный. Установка Auto-Photoshop-SD Extension.

Зачем? Для использования умного маскирования (smart masking) и поиска изображений (image search) внутри Photoshop используя Stable Diffusion. Установка простая и не отнимет много сил.

  • Запустите SD web-ui из прошлого туториала, вставьте скопированный линк в поле вкладки Extensions и нажмите Install
  • Убедитесь что установленный нами плагин отображается в списке установленных. Перезагрузите UI

На этом подготовка к первому запуску объявляется завершенной. Просим пройти к следующему пункту данной инструкции, для запуска и настройки plugin.

2. Первый запуск плагина и его настройка

Для установки библиотек мы будем вновь использовать Git for Windows (который мы установили и использовали в прошлый раз).

  • Запустите Git Bash, перейдите в папку со всем вашим AI хламом (все как в прошлый раз, в нашем случае это c:\ai)
  • Клонируйте репозиторий командой git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git
  • Запустите командную строку (command. com) , перейдите в каталог который был создан во время клонирования Auto-Photoshop-StableDiffusion-Plugin (в нашем случае C:\AI\Auto-Photoshop-StableDiffusion-Plugin) .
  • Выполните в нем команду npm install — таким образом мы загрузим все необходимые зависимости для нашего плагина
  • Запустите в той же командной строке следующую команду npm run watch для компилирования typescript в javascript
  • Запустите start_server.bat внутри папки Auto-Photoshop-StableDiffusion-Plugin Дождитесь завершения установки дополнительных компонентов и запуска сервера
  • Перейдите в папку куда мы установили в прошлый раз Stable Diffusion Automatic 1111 (в нашем случае C:\AI\stable-diffusion-webui).
  • Отредактируйте файл webui-user.bat следующим образом:
    Замените set commandline_ARGS=
    на set commandline_ARGS= --api

Таким образом мы связываем Stable diffusion Automatic1111 с плагином который мы установили в начале. После внесения изменений — запустите webui-user.bat как обычно.

  • Запустите Adobe Photoshop и убедитесь что опция Enable Developer Mode во вкладке Plugins параметров — включена. (edit -> prefrences -> plugins). Не закрывайте Photoshop
  • Установите Adobe UXP Developer Tools отсюда если у вас есть CC и вы буржуй. Или отсюда если вы коммунист. С помощью данной утилиты мы установим плагин в Photoshop
  • Запустите Adobe UXP Developer Tool и нажмите на кнопку Add Plugin. В открывшемся окне найдите файл manifest.json в папке плагина который мы установили ранее (Auto-Photoshop-StableDiffusion-Plugin)
  • Выберите плагин и в меню справа нажмите кнопку Load.

На этом установка окончена. Наслаждайтесь работой с генеративной графикой внутри Photoshop. Инпейнтом, Control Net и прочими радостями модульного Stable Diffusion на вашей локальной машине.

Туториалы по использованию плагина — тутъ. Обещаю на следующей неделе подготовить туториал по использованию плагина для ленивых, а так же готовлю к выходу статью о том как с помощью SD получать изображения в стиле MJ.

P.S. Для настоящих коммунистов, которые даже не думают устанавливать бесплатную триалку адоби на свой ПК, но хотят поюзать данный движок. Подсказываю логику: устанавливаете CC, устанавливаете UXP Dev Tools, сносите CC утилитой от адоби, лечите заново все что требует лечения ♥

0
35 комментариев
Написать комментарий...
Lexx Andr

Почему нет комментариев под такой годнотой? Бро, спасибо.

Ответить
Развернуть ветку
Buddha
Автор

Спасибо за поддержку ✌️

Возможно потому что я не добавил линк на свой телеграм канал 🥲

Ответить
Развернуть ветку
Lexx Andr

У тебя норм туториалы, а не херня про успешный успех. Я был бы совершенно не против тг канала))

Ответить
Развернуть ветку
Buddha
Автор

Но у меня его нет и вряд ли я его заведу, так как зарабатываю иначе. Просто на каникулах делаю «домашку» 😅 пусть тут будет все. Мне не жалко 🌻

Ответить
Развернуть ветку
katakata raikage

Не пойму, почему так(
Вроде всё сделано по инструкции, но вот такой мессадж постоянно. А с Horde тоже дичь, просит "kudos", вообще не разберёшься
Может где-то в процессе установки всё-таки у меня косяк закрался? Как-то можно это фиксануть?

Ответить
Развернуть ветку
Buddha
Автор

Так будет если вы не запустили stable diffusion webui. Который из «предыдущего туториала».

После внесения изменений — запустите webui-user.bat как обычно.
Ответить
Развернуть ветку
katakata raikage

Всё сделано, более того, в браузере работает
В самом фш - нет
Имеет смысл повторить весь процесс заново, или нужно сперва как-то вычистить всё установленное (как?)))

Ответить
Развернуть ветку
Buddha
Автор

Рекомендую проверить это:
set COMMANDLINE_ARGS= --api

И если не поможет - повторить 2й пункт с npm install и npm run watch

Там будут warnings но они не критичны. Главное чтобы после start server bat был статус корректного окончания установки

Если не поможет, пишите завтра в личку, сделаем траблшутинг

Ответить
Развернуть ветку
katakata raikage

--апи есть, нпм тоже выполнялись, вроде всё ок... где-то в целом в процессе выскакивали ошибки, но уже не вспомню, в каких именно, возможно, где-то там косяк и закрался
может имеет смысл просто всю процедуру заново провести просто
спасибо)

Ответить
Развернуть ветку
Vasiliy Leytman

А можно удаленный с инстанса какого-нить типа на Runpod использовать, а не локальный, не проверяли?

Ответить
Развернуть ветку
Buddha
Автор

Можно. Не проверял, но в целом это очень разумный подход. Конфигурация будет практически такой же. Просто при первом запуске вам нужно отредактировать start_server.bat (или start_server.sh на линуксе) чтобы указать путь к удаленному развернутому инстансу Automatic1111

https://m.youtube.com/watch?v=QN1vdGhjcRc

https://blog.runpod.io/stable-diffusion-ui-on-runpod

Ответить
Развернуть ветку
Vasiliy Leytman

о, спасибо. а то я попробовал сначала на М1 погонять — ну у меня такой больше под программирование заточенный, но все же — и слишком уж медленно, и потом на ребенковской 3060 с 12гб — и тоже как-то не сказать что сильно быстро. жаба конечно давит, но в итоге получается легче на несколько часов инстанс быстрый взять с парой А100, закинуть туда готовый образ и сделать быстро всё что хочешь, а не сидеть ждать пока все рендернется на домашнем железе)

Ответить
Развернуть ветку
Buddha
Автор

Да, понимаю вас хорошо. От автора данного плагина есть такие опции как альтернатива локальному рендеру:

No GPU Options: we provide two options to use the auto-photoshp plugin without GPU.
Stable Horde. This is an awesome free crowdsourced distributed cluster of Stable Diffusion workers. If you like this service, consider joining the horde yourself! the horde is enabled completely by the generosity of volunteers so make sure you don't overwhelm the service and help join the cause if you can. read more on their github page - https://github.com/db0/AI-Horde
Colab: we link to this Colab directly inside plugin find it in the settings tab. you only need to run it. no need to change any of the settings. copy the gradio.live url the colab will generate and paste it into sd url field in the settings tab.

https://colab.research.google.com/drive/1nbcx_WOneRmYv9idBO33pN5CbxXrqZHu

Ответить
Развернуть ветку
Lexx Andr

Подскажи, а можно сделать так чтобы SD увеличила изображение? Дорисовала например влево/вправо

Ответить
Развернуть ветку
Buddha
Автор

Да, называется outpainting. Линк на туториал ниже. Когда нибудь я сделаю их на русском языке 😅

https://stable-diffusion-art.com/outpainting/

Ответить
Развернуть ветку
Хитрый Чен

Осталось найти PS v24

Ответить
Развернуть ветку
Buddha
Автор

Он же Photoshop 2023 (v24 это номер версии по-порядку)

Ответить
Развернуть ветку
Хитрый Чен

Да я в курсе ) у меня 23, щас вот репаки качаю. Если запуститься, запустятся нейтрал фильтры, то буду ставить твое детище )
Отпишусь

Ответить
Развернуть ветку
Buddha
Автор

Иди к m0nk сразу. Погугли и обрящешь.

Ответить
Развернуть ветку
Веский Довод

Интересно было, спасибо

Ответить
Развернуть ветку
Сергей Щерба

Кайф, спасибо! ЛУчший

Ответить
Развернуть ветку
Виталий Будкин

В Auto-Photoshop-StableDiffusion-Plugin сейчас bat файлы помечены как deprecated и в Гите никаких подсказок по этому поводу нет :( Подскажите, пожалуйста, как теперь запускать сервер плагина? Или это больше не требуется?

Ответить
Развернуть ветку
Alexey Voda

deprecated-do-not-use-start_server

Ответить
Развернуть ветку
Alexey Voda

А разобрался, почему то автор обозвал батники - deprecated-do-not-use-start_server

Ответить
Развернуть ветку
mj nooker

Скажи, пожалуйста, у тебя всё установилось и работает? У меня куча багов с версиями зависимостей, невозможность установить UXP dev tools (скачанной комунист.версии с гитхаба) без логина в Адоби и тд..

Ответить
Развернуть ветку
Андрей Матвеенко

У меня работает через плагин - есть интерфейс, но в фотошоп не передает. Т.е. картинки нет. Почему??? Котик в превью есть. А на слое нет!!!

Ответить
Развернуть ветку
Maxyao Endless

Автору конечно респект, но только назначение этого всего не очень понятно, когда тот же стейбл или инвок можно просто также локально поставить и это будет проще намного😅 К тому же как я понял, функционал не отличается

Ответить
Развернуть ветку
Khris Naitli

Привет
Подскажите пожалуйста что делать если нет файла start_server.bat внутри папки Auto-Photoshop-StableDiffusion-Plugin? я попыталась ввести то что написано зеленым, но меня за синтаксы ругают, а я не умею их писать правильно

Ответить
Развернуть ветку
Khris Naitli

подскажите как вписать правильно

Ответить
Развернуть ветку
Khris Naitli

Подскажите пожалуйста как исправить?

Ответить
Развернуть ветку
Khris Naitli

подскажите что делать?
на моменте установки плагина в фотошоп вылезли ошибки

Ответить
Развернуть ветку
Stesha Tracevskaya

Подскажите пожалуйста, почему вылазят ошибки на этапе npm run watch? До этого все шло по плану

Ответить
Развернуть ветку
Евгений Антонов

Почему то в папке с плагином у меня только start_server_MacOS, start_server.bat нет

Ответить
Развернуть ветку
Евгений Антонов
Ответить
Развернуть ветку
Евгений Антонов
Ответить
Развернуть ветку
32 комментария
Раскрывать всегда