Как правильно писать промпты для Stable Diffusion. Модели Stable Diffusion

В этой статье я расскажу как правильно писать промпты (promts) для нейросети Stable Diffusion на разных моделях.

Приведу лучшие примеры промптов из личной коллекции, которые вы сможете использовать для своих генераций в разных моделях Stable Diffusion в онлайн сервисах или на своем компьютере.

Художники рисуют на бумаге кистью, дизайнеры рисуют стилусом на графическом планшете, а мы будем учиться рисовать словами в нейросети. Для начала разберем что такое промпт для Stable Diffusion. Promt, prompt или запрос для нейронной сети - это наша кисточка, наш стилус. И насколько умело вы можете пользоваться этим инструментом – от этого напрямую зависит качество вашего изображения сгенерированного в Stable Diffusion. Именно для того чтобы вы правильно могли пользоваться инструментами в нейросети, я написала эту статью.

Промпты есть как для чата GPT, так и для Stable Diffusion. Они разные. Текстовые запросы строятся по определенным правилам для каждой нейронной сети отдельно. Для DALLE, например, особых требований нет и тексты запросов можно писать так, словно вы обьясняете человеку что вам нужно нарисовать. Подобным образом составляются промты для Stable Diffusion XL. Но даже в DALLE и SDXL пользователь может столкнуться с тем что нейросеть изобразила не то, о чем думал человек. Не смотря на простоту построения фраз - запрос должен быть правильно построен и быть логичным. Чем подробнее ваш запрос, тем больше он будет соответствовать вашей идее. Все примеры генераций я буду приводить на основе бота в телеграм, где есть все перечисленные выше нейросети и различные модели для Stable Diffusion. Вы можете использовать в тех сетях, с которыми вы работаете, с той лишь разницей что какого то функционала может не быть.

Пример запроса: дедушка сидит в комнате. Нейросеть может вам нарисовать дедушку сидящего на полу. Лучше в запросе прописать: Дедушка сидит на стуле в комнате.

Или еще пример: Девушка сидит в комнате у стены, на улице идет дождь. За стеной дождя не увидеть. Лучше фразу в запросе прописать так: Девушка сидит на стуле у окна, за окном идет дождь.

Важно в запросе правильно указывать отношение предметов по отношению друг к другу. Избегайте в промптах для Stable Diffusion слова, которые нейросеть отобразить не сможет.
Например: Майский дождь. Дождь на любой картине это вода с неба. Если вам нужен именно весенний дождь то в запросе лучше указать: красивый пейзаж, весна, тепло, идет дождь. Для пейзажей лучше выбирать альбомный разворот.

Еще пример: Бабушка с браслетом моей бабушки на руке. Описание браслета у вас в голове. Нейросеть мысли читать не умеет. Напишите такой запрос: Бабушка позирует в модном платье с гранатовым браслетом на руке в стиле ретро.

Чем подробнее вы хотите изобразить предмет, тем более подробно опишите его. Некоторые вещи нейросеть отобразить не может, но она может отобразить последствия некоторых действий. Например: сильный ветер, громкий звук, яркий свет. Мы в генерации увидим действие на окружающих предметах. Если вы еще ни разу не писали сами промпты для Stable Diffusion 1.5, то лучше использовать промты других людей с качественными генерациями и менять в них обьекты, описания предметов, добавлять интересные для вас детали. Так вам будет проще понять как правильно писать промпты для Stable Diffusion. Посмотрим действие стихии на генерации.

Также можно использовать функцию +GPT. Возьмем короткий запрос: Белеет парус одинокий. Нейросеть доработает сама ваш промпт. На скриншоте видно как появился текст внизу моего запроса.

Сгенерируем изображение по тому промпту, что предложил ChatGPT.

Помня об особенностях что я пречислила выше, вы можете сами составлять лучшие промпты для Stable Diffusion. Начинайте с простых, с одним обьектом. Отделяйте слова друг от друга запятыми.
Например: Девушка, солнечный летний день, озеро, голубое небо, облака. Где в запросе главным будет объект (то что прописано в начале промпта для нейросети имеет более высокий приоритет), и только после идет окружающая обстановка.

Затем добавляйте более развернутые описания и детали. Можно использовать четверостишия.
(Конечно нейросеть в генерации ниже не смогла сгенерировать нам строки про далекую страну и родной дом).

Tеперь давайте изобразим белый парусник в море, сильный ветер и чаек.

Как видно по картинке чаек на генерации нет. Если мы столкнулись с такой ситуацией - значит нужно поднять вес токена в промпте или нужный обьект переместить в начало промпта. Подробнее об этом расскажу чуть позже.

Добавим к изображению шторм.

Теперь поставим чайку на первое место в запросе. И вот она на генерации.

Подведем итоги. Все слова и словосочетания нашего запроса перечисленные через запятую называются токенами. Токены внутри запроса влияют друг на друга. И мы видим как шторм, молнии и парусник взаимодействуют друг с другом на изображении. Чем ближе к началу запроса тем выше важность токена по сравнению с остальными и соответственно выше вероятность отображения токена на генерации. Именно поэтому на первое место ставятся обьекты являющиеся центром композиции на изображении, или какой то предмет который мы хотим выделить как главную деталь.

Когда хотим сгенерировать изображение точно по нашей идее, мы должны максимально точно сделать описание изображения, избегая двойственных трактовок. Исключить описание предмета по противополжным характеристикам: и длинный, и короткий одновременно. Чем больше мы описываем предмет, какие характеристики предмета, окружающая обставновка, более подробные детали - тем длиннее становится наш промпт. И в SD 1.5 для соответствия запросу нужно расставлять весовые коэфициенты для того чтобы повысить вероятность появления на изображении того или иного токена в нашем запросе. Для Телеграм ботов максимальное количество символов в запросе ограничено количеством символов допусиимых в одном сообщении.

Допустим, вы хотите сгенерировать изображение белого парусника, выполненного масляными красками на холсте в стиле Айвазовского. В этом случае чтобы нейросеть более точно произвела имитацию стиля художника – нужно отключить принудительные стили. Повышать важность токена можно двумя способами.

Например: Белеет парус одинокий на фоне моря голубом, (((в стиле Айвазовского))), так и Белеет парус одинокий на фоне моря голубом, (в стиле Айвазовского:1.3).0.1 веса и две скобки окружающие слова или слово (в стиле Айвазовского) это +10% к важности токена.

Старайтесь сразу не повышать на большое значение веса, чтобы избежать искажений на изображении. Я обычно начинаю с 1.3. И только если совсем уж длинный промпт, то иногда я использую вес до 2, поднимая вес практически каждого токена в запросе. Но это очень сложная задача – проставить вес токенов соблюдая равновесие, чтобы не деформировалось изображение. Есть способ гораздо проще. Использование простых запросов и лор с сайта Civitai.com, где также вы можете найти promt для Stable Diffusion. Про лоры сейчас останавливаться подробно не буду, это тема для отдельной статьи.

В промпте могут быть использованы и квадратные скобки. В запросе: Девушка, парк, [деревья:0.4] это не приказ для нейросети исключить отображение деревьев на генерации, а всего лишь просьба добавить отрисовку деревьев на 40%, после 60% отрисовки девушки с учетом текущего сэмплинга. Более подробно о квадратных скобках расказано в курсе обучения. Базовые уроки вы можете пройти совершенно бесплатно ОБУЧЕНИЕ (кнопка обучения в самом низу меню).

Чаще всего квадратные скобки используются для создания химер. Когда используете химеризацию старайтесь не использовать птиц и змей. Этот прием можно также использовать чтобы создать уникальные лица на базе SD. [Мона Лиза:Анжелина Джоли:0.3]. В данном примере нейросеть отрисует 30% Мона Лизы и 70% Анжелины Джоли.
[Mona Lisa:Angelina Jolie:0.3], in style Lara Croft, action pose, cgi, 1024K

Для того чтобы исключить отображение обьекта или цвета мы пишем это в негативном промпте для Stable Diffusion, добавляя его после основного промпта через /np. Например: Парус одинокий на фоне моря голубом /np (((белый цвет))).
В негативном промпте также можно увеличить важность токена.

Нейросети могут очень хорошо имитировать не только стили художников или приемы рисования как мы видели это в примерах ранее, но и менять стилистику картинки в целом.
Давайте теперь посмотрим на промпт с парусником в стиле оригами.

Стилей, как и моделей для Stable Diffusion множество. В генерациях которые я вам показывала есть настройки нейросети, которые были использованы при создании изображений. Покажу еще немного стилей:

На скриншоте ниже наиболее популярные модели для Stable Diffusion.

Расскажу немного о своих любимых моделях. SDXL Juggernaut - очень хорош для фотореалистичных генераций и DeepFace. Любимые мной аниме-модели VelaMix и DarkSushi. Чтобы изменить настройки и модели достаточно просто нажать на название в меню. Примеры генераций в любимых моделях дальше.

✏ Prompt: a pretty woman dressed in a black and bright red, (black swan feather dress), glowing red eyes, pretty woman, beautiful female vampire, beautiful female vampire, beautiful succubus, female vampire, vampire, beautiful vampire female queen, succubus | medieval, black swan outfit, badwoman, vampire queen, woman vampire, professional photo
🎭 Styles: No style
🧩 Model: VelaMix + H.F. 💎
🔧 Sampler: DPM++ 2M Karras

✏ Prompt: A terrifying Zombie, menacing pose, decaying green skin, glowing yellow eyes, patchy black hair, wild and messy hairstyle, emaciated body, torn and blood-stained clothing, post-apocalyptic wasteland setting, emerging from a dark corner, gritty and grunge style, dimly lit with flickering candles, high-resolution digital image, photorealistic rendering, by H.R. Giger, ultra-HD.
🎭 Styles: Random
🧩 Model: SDXL DeepBlue 💠
🔧 Sampler: UniPC

✏ Prompt: A rugged cowboy, riding pose, sun-kissed skin, blue eyes, sandy-brown hair, windswept hairstyle, muscular body, leather jacket, wild west setting, on top of a mountain, vintage style, golden hour lighting, watercolor format, impasto technique, by Leonardo da Vinci, high definition.
🎭 Styles: Random
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: DPM++ 2M Karras

✏ Prompt: Vampire child, head-on view, mischievous smile, translucent skin showing playful freckles, sky-blue eyes with a hint of malice, carrot-top hair messy and short, slight but spry figure, tattered street urchin clothes with hidden pockets, (abandoned amusement park:1.3), (swinging from an old carousel horse:1.1), (surrealist:1.4), (by Dalí and Caravaggio:1.2), 24K vibrant
🎭 Styles: No style
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: UniPC

✏ Prompt: Vampire huntress, three-quarter view, dynamic combat stance, bronzed skin slight glow, glowing amber eyes, platinum blonde hair in a battle braid, wiry and toned figure, leather battle attire with red accents, (rain-soaked alleyway:1.1), (crouched on a roof:1.3), (dark fantasy:1.5), (by Frazetta and Brom:1.4), 16K fine detail
🎭 Styles: No style
🧩 Model: SDXL Juggernaut 💠
🔧 Sampler: UniPC