🌟 ControlNet++ — улучшенная версия вспомогательной технологии для генерации изображений

ControlNet++ использует дискриминационные модели вознаграждения для оптимизации согласованности между входными условиями (изрбражение-референс) и результатами генерации за счет оптимизации последовательности циклов.

Согласно опубликованным бенчмаркам, ControlNet++ значительно улучшает управляемость процессом генерации.

Новый метод метод превосходит классический ControlNet:

- на 7.9% по mIoU;

- на 13.4% по SSIM;

- на 7.6% по RMSE.

Адаптации под UI для Stable Diffusion пока нет.

Еще круче то, что контролнеты++ успели упаковать в Controlnet Union и собрали в 1 модель.

Теперь можно разом делать 12 препроцессов с одной модели CN.

👉 Репозиторий https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

Модель safetensors без конфига в папку с Контролнетом Автоматика1111 или ComfyUI.

Это все действия которые необходимо сделать)

А самое главное - больше не нужно качать тонну моделей и следить в UI что нужный препроцессор выбран.

Работает controlnet union на SDXL-моделях. Для SD3 свой контролнет, для SD1.5 -свой, этот работать не будет.

👉 Видео: https://www.youtube.com/watch?v=UBFEw1IUX_I

Еще больше крутого МЛ контента в моем канале.

🖥 GitHub [ Stars: 274 | Issues: 2 | Forks: 11 ]

🟡 Страничка проекта ControlNet++

🟡 Arxiv

🟡 Демо на HF

🟡 Модели на HF

#ControlNet #Diffusers #Image2Image