Для StableDiffusion есть расширение ControlNet, которое может генерировать изображения по исходной картинке, готовой модели или простому наброску:
Хороший пост без лишней воды
первый абзац не осилил в скролле, про что там, в двух словах?
да, без лишнего всего))