Простой генерацией картинок в DALL-E 2 и MidJourney уже никого не удивить. Это уже не хайповая штука, а рутинный инструмент дизайнеров и маркетологов. А вот генерация картинок и видео в режиме real time по наброскам (а по сути просто по паре пятен) уже выглядит как тренд 2024.
Всё перечисленное есть в Stable Diffusion , называется img2img. Sketch.
Так же можно помочь SD и написать что именно рисовать , вазу с букетом цветов , или мячик баскетбольный.... и так далее , много ещё чего
Если не ошибаюсь, у img2img мало входных настроек.