Для StableDiffusion есть расширение ControlNet, которое может генерировать изображения по исходной картинке, готовой модели или простому наброску:
Тут, похоже, все собрались увидеть видео намного интереснее))