🌟 ControlNet++ β€” ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½Π½Π°Ρ вСрсия Π²ΡΠΏΠΎΠΌΠΎΠ³Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ

ControlNet++ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ дискриминационныС ΠΌΠΎΠ΄Π΅Π»ΠΈ вознаграТдСния для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ согласованности ΠΌΠ΅ΠΆΠ΄Ρƒ Π²Ρ…ΠΎΠ΄Π½Ρ‹ΠΌΠΈ условиями (ΠΈΠ·Ρ€Π±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅-рСфСрСнс) ΠΈ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°ΠΌΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π·Π° счСт ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Ρ†ΠΈΠΊΠ»ΠΎΠ².

🌟 ControlNet++ β€” ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½Π½Π°Ρ вСрсия Π²ΡΠΏΠΎΠΌΠΎΠ³Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ

Богласно ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½Ρ‹ΠΌ Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠ°ΠΌ, ControlNet++ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ ΡƒΠΏΡ€Π°Π²Π»ΡΠ΅ΠΌΠΎΡΡ‚ΡŒ процСссом Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ.

🌟 ControlNet++ β€” ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½Π½Π°Ρ вСрсия Π²ΡΠΏΠΎΠΌΠΎΠ³Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ

Новый ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΌΠ΅Ρ‚ΠΎΠ΄ прСвосходит классичСский ControlNet:

- Π½Π° 7.9% ΠΏΠΎ mIoU;

- Π½Π° 13.4% ΠΏΠΎ SSIM;

- Π½Π° 7.6% ΠΏΠΎ RMSE.

Адаптации ΠΏΠΎΠ΄ UI для Stable Diffusion ΠΏΠΎΠΊΠ° Π½Π΅Ρ‚.

Π•Ρ‰Π΅ ΠΊΡ€ΡƒΡ‡Π΅ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π½Π΅Ρ‚Ρ‹++ успСли ΡƒΠΏΠ°ΠΊΠΎΠ²Π°Ρ‚ΡŒ Π² Controlnet Union ΠΈ собрали Π² 1 модСль.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ ΠΌΠΎΠΆΠ½ΠΎ Ρ€Π°Π·ΠΎΠΌ Π΄Π΅Π»Π°Ρ‚ΡŒ 12 прСпроцСссов с ΠΎΠ΄Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ CN.

πŸ‘‰ Π Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΉ https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

МодСль safetensors Π±Π΅Π· ΠΊΠΎΠ½Ρ„ΠΈΠ³Π° Π² ΠΏΠ°ΠΏΠΊΡƒ с ΠšΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π½Π΅Ρ‚ΠΎΠΌ Автоматика1111 ΠΈΠ»ΠΈ ComfyUI.

Π­Ρ‚ΠΎ всС дСйствия ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ)

А самоС Π³Π»Π°Π²Π½ΠΎΠ΅ - большС Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ ΠΊΠ°Ρ‡Π°Ρ‚ΡŒ Ρ‚ΠΎΠ½Π½Ρƒ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ ΡΠ»Π΅Π΄ΠΈΡ‚ΡŒ Π² UI Ρ‡Ρ‚ΠΎ Π½ΡƒΠΆΠ½Ρ‹ΠΉ прСпроцСссор Π²Ρ‹Π±Ρ€Π°Π½.

Π Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ controlnet union Π½Π° SDXL-модСлях. Для SD3 свой ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π½Π΅Ρ‚, для SD1.5 -свой, этот Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚.

πŸ‘‰ Π’ΠΈΠ΄Π΅ΠΎ: https://www.youtube.com/watch?v=UBFEw1IUX_I

Π•Ρ‰Π΅ большС ΠΊΡ€ΡƒΡ‚ΠΎΠ³ΠΎ ΠœΠ› ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° Π² ΠΌΠΎΠ΅ΠΌ ΠΊΠ°Π½Π°Π»Π΅.

πŸ–₯ GitHub [ Stars: 274 | Issues: 2 | Forks: 11 ]

🟑 Arxiv

ΠΠ°Ρ‡Π°Ρ‚ΡŒ Π΄ΠΈΡΠΊΡƒΡΡΠΈΡŽ