Как управлять расположением объектов и резкостью фона при генерации изображений в Flux с помощью промптов и LoRA

Всем привет! Сегодня я хочу поделиться некоторыми ключевыми техниками, которые я узнал, экспериментируя с моделью Flux. За последние несколько дней я сгенерировал около 500 изображений, настраивая промпты и LoRA, чтобы увидеть, как различные структуры промптов могут управлять генерацией изображений и резкостью фона.

В этой статье я расскажу вам об этих методах и покажу, как вы можете использовать их в своих собственных проектах по генерации изображений. Существует несколько способов для генерации изображений с помощью Flux, но на данном этапе я пользуюсь для генерации этим телеграм-ботом, так как у многих сервисов есть определенные ограничения.

Один из самых эффективных способов управления компоновкой изображения - это корректировка описания сцены в промпте. В частности, уровень детализации и порядок описания существенно влияют как на размер объекта в кадре, так и на резкость фона.

Рассмотрим следующий промпт:

В этом примере большая часть деталей посвящена рыбаку, а гавань упоминается лишь вскользь. В результате в кадре главным объектом съемки является рыбак, а фон (гавань) размыт и менее детализирован.

Теперь давайте сместим фокус на задний план. Измените промпт следующим образом:

Здесь на первый план выходит подробное описание гавани. На полученном изображении больше внимания будет уделено гавани, что сделает ее более четкой, в то время как рыбак будет казаться меньше и находиться дальше в кадре. Просто поменяв порядок и фокус описаний, мы можем добиться кардинально разных результатов.

Изменяя расположение описаний и степень детализации каждого элемента в промпте, вы можете контролировать, какая часть изображения занимает центральное место и насколько резким получится фон.

На резкость фона в изображении влияет не только уровень детализации в вашем промпте, но и содержание самого фона. Экспериментируя с моделью Flux, я обнаружил, что она ведет себя почти как умный фотограф, автоматически регулируя уровень размытия в зависимости от того, что описано в промпте.

Давайте рассмотрим это на нескольких примерах, которые демонстрируют, как формулировка промпта влияет на фокус и четкость фона.

Возьмем следующий промпт:

В этом промпте большинство слов посвящено пейзажу - альпийской деревне, горам и вечнозеленым деревьям. Поскольку пейзаж описан так подробно, на снимке фон получается крупным и очень четким. Сноубордист, напротив, кажется совсем маленьким и отдаленным. Несмотря на то, что в промпте описаны его действия, они не очень хорошо переданы, потому что он занимает очень мало места на изображении.

Это наглядно демонстрирует, как количество деталей, придаваемых фону по сравнению с объектом съемки, напрямую влияет на четкость и размер каждого элемента в кадре. Чем более подробно описан фон, тем более резким и заметным он становится.

Давайте изменим исходный промпт, добавив перед сноубордистом фразу «a closeup shot of»:

Благодаря этой небольшой настройке изображение кардинально меняется. Сноубордист стал гораздо крупнее и занимает большую часть кадра. Фон остается четким, но сноубордист теперь становится главным объектом, занимая передний план. Однако, несмотря на то что сноубордист стал более заметным, конкретное действие, когда он поправляет очки, все еще передано не полностью.

Это важный момент: добавление «closeup» увеличивает размер объекта, но не обязательно выделяет все его действия, особенно если фон остается относительно детализированным.

Давайте попробуем еще одну модификацию - на этот раз уменьшим описание фона:

В этом промпте мы значительно сократили описание фона, сосредоточившись на действиях сноубордиста. В результате на полученном изображении сноубордист виден гораздо четче, даже запечатлено специфическое движение, когда он поправляет очки. Компоновка сместилась от отдаленного снимка половины тела к более близкому и детальному снимку всего тела.

Однако за это приходится расплачиваться: фон стал гораздо более размытым, поскольку он больше не описывается в деталях. Баланс между резкостью объекта и фона зависит от того, сколько внимания уделено каждому из них в промпте.

Давайте продолжим эксперимент, поместив сноубордиста в начало промпта:

В этом варианте основное внимание уделяется деталям сноубордиста. Он занимает много места в кадре, и все детали его описания - от дыхания, образующего облака, до волнения в глазах - четко переданы. В то же время фон едва заметен, сильно размыт и занимает очень мало места на изображении.

Сравнивая изображения, полученные с помощью этих разных промптов, вы можете увидеть, как порядок расположения содержания и количество деталей напрямую влияют на резкость фона и размер объекта.

Структура промпта и последовательность описаний играют огромную роль в управлении размером объекта и резкостью фона.

Эта разница может показаться довольно очевидной, поэтому давайте рассмотрим еще несколько пар изображений. Заметили, что порядок расположения объектов по-прежнему оказывает большое влияние на общую компоновку?

Во всех этих примерах ключевые слова, которые сыграли огромную роль, - это «closeup shot of». Это мощный инструмент для привлечения внимания к объекту съемки, и его использование может значительно изменить композицию изображения. Аналогично, использование таких фраз, как «in the distance» или «foreground», также может изменить акцент между объектом и фоном. Эти фразы позволяют точно настроить перспективу и баланс в создаваемом изображении.

Содержание вашего промпта напрямую влияет на то, насколько резким или размытым получится фон. Если вы добавите более подробное описание фона, он станет более четким и крупным. Если вы хотите, чтобы объект занимал доминирующее положение в кадре, уменьшите детали фона или перенесите описание объекта в начало промпта, чтобы сместить фокус.

Определенные ключевые слова в промптах также могут напрямую управлять тем, сколько места занимает объект съемки и насколько четким получается фон. Эти ключевые слова действуют как команды, которые смещают фокус изображения.

Приближает объект съемки, делая его более крупным и детализированным, в то время как фон становится размытым.

Перемещает объект съемки на большее расстояние, позволяя сделать фон более заметным и резким.

Изменяет перспективу на более высокую и отдаленную, захватывая больше фона и уменьшая заметность объекта.

Эти ключевые слова обеспечивают мощный контроль над компоновкой генерируемых изображений, облегчая создание нужных визуальных эффектов.

При создании изображений с помощью модели Flux возникает распространенная проблема: по мере того как объект занимает все больше места в кадре, фон становится слишком размытым. Это может быть проблематично, особенно когда фон играет важную роль в создании сцены или улучшении общего настроения изображения.

Например, посмотрите на эти изображения:

Как же сохранить и четкий объект, и четкий, детализированный фон?

Один из вариантов - добавить больше деталей к описанию фона в вашем промпте. Однако писать каждый раз длинные и сложные промпты не всегда удобно, особенно если вы хотите сохранить баланс между детализированным объектом и четким фоном, не перегружая промпт.

Более эффективный способ контролировать резкость фона, не полагаясь только на промпт, - использовать LoRA (Low-Rank Adaptation). LoRA позволяет точно настроить поведение модели, в частности степень размытия фона, без ущерба для размера или фокусировки объекта.

LoRA - это, по сути, облегченная модификация, которая может адаптировать предварительно обученные модели под ваши конкретные нужды, в данном случае для уменьшения размытия фона. Она особенно полезна, когда стандартные результаты модели, такой как Flux, не дают вам достаточного контроля над четкостью фона.

Вот как вы можете использовать LoRA в своем рабочем процессе.

Чтобы упростить процесс, я создал для вас собственный рабочий процесс в ComfyUI. Вы можете скачать этот рабочий процесс и антиразмыватель Flux LoRA здесь.

В левой части рабочего процесса вы найдете стандартную настройку модели Flux, но с добавлением узла LoRA для управления размытием фона. Ниже описаны шаги по настройке и эффективному использованию LoRA:

В правой части рабочего процесса мы выполняем исправление изображения, чтобы еще больше улучшить резкость и качество результата:

Теперь давайте сравним набор изображений, созданных с использованием LoRA и без нее:

Применяя LoRA вместе с коррекцией, вы получаете более резкий и четкий фон. Это решение обеспечивает практичный и эффективный способ преодоления распространенной проблемы размытия фона при использовании Flux или аналогичных моделей.

Одно из преимуществ использования LoRA заключается в том, что вы можете настроить его силу в соответствии с вашими конкретными потребностями. Если вы обнаружите, что фон все еще слишком размыт или слишком резок, регулировка силы узла LoRA даст вам более точный контроль. Такая гибкость позволяет создавать изображения, в которых соблюден идеальный баланс между фокусом на объекте и детализацией фона.

Попробуйте применить LoRA в своем следующем проекте по созданию изображений, и вы увидите, как это изменит ситуацию!

Подводя итог, можно сказать, что вот основные приемы, позволяющие контролировать расположение объектов и их резкость в изображениях, сгенерированных в Flux:

С помощью этих приемов вы получите гораздо больше контроля над композицией своих снимков, что позволит вам создать именно тот визуальный стиль, к которому вы стремитесь.

Надеюсь, эти приемы были вам полезны! Теперь ваша очередь экспериментировать с промптами и посмотреть, что у вас получится.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#flux #fluxpro #генерацияизображений #comfyui

Источник