Как улучшить промпты для Midjourney с помощью команды /shorten

Midjourney известна своими детализированными и реалистичными изображениями. Однако бывает непросто заставить модель Midjourney создать именно ту сцену, которую вы задумали, когда вводили промпт.

Например, для заглавного изображения этой статьи я попросил изобразить деревенские ножницы, разрезающие ленту. Однако все, что я получил, - это изображения ножниц, парящих где-то рядом с лентой.

Команда /shorten - полезный инструмент для анализа промпта. Она дает нам представление о том, как алгоритм Midjourney интерпретирует промпт, и предлагает более короткие промпты, которые могут лучше подойти для создания необходимого изображения.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

В этой статье вы узнаете, как работает команда /shorten в боте Midjourney в Discord и расскажу вам, как сделать:

Бот Midjourney разбивает промпт на более мелкие единицы - токены, состоящие из слов или коротких фраз. Затем он создает образ на основе ассоциаций этих токенов с обучающими данными.

Вопреки интуиции, короткий и лаконичный промпт может работать лучше, чем длинный. Разработчики Midjourney объясняют, что поэтический язык и чрезмерное описание могут привести к появлению на изображении неожиданных объектов.

Пользователи задают промпт в чате Discord с ключевым словом /imagine, и алгоритм генерирует сетку из четырех вариантов изображений. Они могут быть доработаны с помощью вариаций, тонкого и творческого масштабирования и раскрашивания.

Как и /imagine, /shorten можно использовать в любом канале бота Midjourney в Discord. Это результат анализа промпта для моего изображения в начале статьи:

У пользователя есть две дополнительные опции:

В последнем случае бот Midjourney возвращает вес, который он присвоил каждому токену. Токены с большим весом считаются более важными.

Очевидно, что алгоритм делает акцент на компонентах изображения, их цвете и стиле. Композиция кажется менее важной, как и описание написанных на ленте слов.

Далее я использую команду /shorten для создания семейной сцены. Из сетки из четырех сгенерированных изображений я всегда выбирал то, которое лучше всего соответствовало заданному промпту.

Я попросил Midjourney создать уютную семейную сцену, включая подробное описание членов семьи и домашних животных в сцене, их занятий и места на изображении. Я также указал, что стиль изображения должен быть фотореалистичным.

Сгенерированная сцена содержит все объекты, которые я запросил, но композиция не такая, как ожидалось. Например, на полу лежат две кошки породы табби, а не одна на кухонном столе. На полу лежат игрушки, но дети с ними не играют. Но что меня действительно смутило, так это то, что нижняя половина окна отсутствует.

Используя /shorten, бот Midjourney выдал мне следующий анализ моего первоначального промпта. Бот выделяет наиболее важные слова жирным шрифтом.

Анализ показывает, что важными считаются люди и домашние животные. Но наиболее значимой частью промпта является обстановка: photorealistic, sunny, morning, family... Интересно, что цвет шерсти "tabby" считается гораздо более важным, чем сама кошка - может быть, это намек на то, что "cat" автоматически подразумевается, когда мы просим объект "tabby"?

Бот также предложил пять сокращенных промптов, которые в соответствии с его восприятием промпта отражают самое главное и не содержат отвлекающих деталей.

На следующей подборке показаны изображения, созданные для каждого из сокращенных промптов, начиная от "photorealistic, sunny morning family scene, woman standing in the kitchen preparing a smoothie, two children, floor with toy cars. A tabby, fruit, curtains" до "photorealistic, sunny, family, smoothie".

Ни один из сокращенных промптов не показался мне особенно близким к той сцене, которую я хотел создать. Пытаясь заставить алгоритм больше внимания уделять композиции и меньше - стилю, я решил создать следующий адаптированный промпт.

В нем больше не требуется фотореалистичное изображение, но впервые кошка табби и другие предметы размещены не на полу, а на столешнице. Для меня это было важнее, чем стиль.

Для следующего примера я прибег к помощи ChatGPT, чтобы создать поэтичный и яркий промпт:

Бот Midjourney сократил его до

На следующем изображении показано сравнение двух промптов. Сокращенный промпт, в котором из 38 слов осталось только 8, позволяет точно воссоздать сцену.

В первом, сложном примере с промптом команда /shorten и сокращенные ботом Midjourney промпты не решили моих проблем напрямую.

Взаимодействие с /shorten позволило мне лучше понять алгоритм. Зная, какой вес он придает каждому токену, я смог убрать слова, которые, по моему мнению, были излишне подчеркнуты, и улучшить промпт.

Например, я бы не догадался, что алгоритм придаст такое значение словам "photorealistic" и "smoothie". В процессе создания изображения я понял, что они не были важны для того, чтобы сгенерировать сцену.

Во второй, более простой сцене, использование /shorten помогло мне уменьшить количество лишних слов в исходном промпте. С помощью более короткого промпта сохранились ключевые компоненты композиции.

Я рассматриваю команду /shorten как способ общения с ботом Midjourney. В конце концов, он не объясняет нам, как именно он сгенерировал то или иное изображение. Зная вес каждого токена, пользователь может начать изменять промпт, пока сгенерированная сцена не будет соответствовать его первоначальной идее.

Еще больше полезностей - в телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.

#midjourney

Источник статьи на английском - здесь