Как мы сгенерировали календарь на 2024 год с помощью нейросети

Каждый год мы разрабатываем фирменные перекидные календари, чтобы дарить их на новый год нашим заказчикам. В этот раз задача стояла разработать для календаря иллюстрации символа года — драконов, которые были бы уникальными и передавали вайб каждого месяца. Как не воспользоваться возможностью быть в тренде и применить талант нейросети Midjourney (MJ)?

Здесь мы расскажем про наш опыт. На генерацию 12 картинок ушло 2 месяца. В течение этого времени мы ставили эксперименты, удивлялись и учились у нейросети, пока она училась у нас.

В бесплатной версии Midjourney практически нереально создать шедевр. Нужно оплачивать подписку. Мы рискнули, набрались терпения и стали пробовать. После команды /imagine prompt запрос, состоящий из фрагментов, пишется на английском языке. Вот стандартная структура промта (запроса) :

Фрагменты отделяются либо запятой, либо двоеточиями. Есть мнение, что двоеточия нейросеть “понимает” лучше. Начали с простого и перевели фразу для промта: “фото милого дракона в высоком разрешении, в высоком качестве”. Сгенерируем промты с разными разделителями:

Мы получили несколько видов драконов, но это еще не конец. Можем перезапустить промт целиком или поработать с каждым отдельным вариантом. В их дальнейшей проработке помогают кнопки, расположенные ниже:

Выполним вариацию картинки № 3 и получим похожих дракош, но немного с разными мордочками и позами:

Варианты можно запрашивать с большей или меньшей степенью похожести: Strong – большая вариабельность, Subtle – меньшая вариабельность.

На прошлом шаге драконы вышли хорошими, но слишком простыми. Нам нужны разные времена года, ситуации, характеры. В голове не было ясной картинки. Мы знали только то, что драконы должны быть волшебными. Наш календарь новогодний, а значит – про сказки, добро, исполнение желаний.

Стали пробовать генерировать драконов, экспериментируя со стилями, пользовались сервисами с подсказками для промтов, а также работали в модели niji 5 для уникального аниме-стиля. Листайте и смотрите, что мы получили.

Вот некоторые сервисы, которые можно использовать при составлении промтов:

Если писать запрос более точно, то скорее всего картинка получится соответствующей описанию. Подробные запросы можно использовать, когда у нас есть идея, и мы хотим получить что-то конкретное. Если мы используем нейросеть для поиска вдохновения, можно писать лаконично. В любом случае картинки получаются качественными и порой неожиданными.

Мы знали, что можно загрузить референс, и нейросеть создаст на его основе новый шедевр с учетом дополнительного описания. Но мы все еще не понимали как написать промт так, чтобы получить желаемый результат.

В Pinterest мы нашли сюжет, который мог бы быть на нашем календаре: из яйца вылупился детеныш рептилии. В любом случае и ящерицы, и гекконы, и динозавры — родственники драконов, и их объединяют красивая чешуйчатая кожа, хвостики и лапки. Идея могла бы подойти под январь: год дракона начался. Нужно понять, какие промты описывают этот стиль, на помощь приходит команда /describe. Нейросеть предложила 4 варианта описания:

Запускаем генерацию всех вариантов и получаем разных рептилий, схожих в обстоятельствах и сюжете референса.

Получились разнообразные детализированные образы с похожим сюжетом. Будем использовать фрагменты из этих промтов. Наша идея сделать для января дракончика, вылупившегося из яйца. Нужно чтобы это был зимний дракончик, скорлупка должна быть прозрачная. Возьмем третий промт, изменим главного героя на дракона, добавим ему стеклянное яйцо и снежный фон. Дракончик должен находиться внутри полуразбитого яйца. Попытаемся докрутить картинку. Будем использовать кнопку “V1”.

Попробуем изменить промт: добавим icy как описание дракона:

Ура!

Получился именно дракон, с рогами и чешуей, но с добрым взглядом в атмосфере праздника и волшебства из книжек. Спустя N попыток и часов GPU получилось то, что можно использовать. Мы могли бы генерировать варианты и смотреть какие изменения будут происходить, но команде запал в душу дракончик №2, и мы решили оставить его для иллюстрации января.

Кстати, получившееся изображение можно достроить до необходимого соотношения сторон. К примеру, нам нужно было получить горизонтальное изображение для обложки большого календаря. Это можно сделать с помощью параметра или функции зума.

Мы поняли, что можно находить изображения-референсы и просить нейросеть описывать их. Так мы получаем новые эстетические приемы и обогащаем запас промтов. Важно выявить общую идею на картинке, а детали и сюжеты корректировать с помощью вариаций, дополнений промтов под конкретные запросы и достраивания картинок.

Создавать изображения можно разными способами. Для этого используются параметры в составе промта (они пишутся в конце после двойного дефиса) .

Есть и другие параметры, но они не пригодились нам (quality, repeat, stop, tile и др.) .

Подробнее мы бы хотели рассказать про очень важный параметр – seed.

Вернемся к нашим календарным драконам. Для генерации иллюстраций к оставшимся месяцам повторяем наши действия: находим референс, описываем, редактируем промт.

Получилось неплохо, но это игуаны и поздняя осень. Мы захотели добавить весны и дописали промт.

От игуан отошли. Драконы-девушки стали получаться неплохими: выражения мордочек, наличие цветов, шарфы. Но чего-то не хватало. Нужно было изменить промт таким образом, чтобы в результате получился образ дракона, а не игуаны, но с небольшими изменениями в деталях. На помощь пришел параметр – seed.

Иначе говоря, с помощью числа сид можно создавать похожие картинки. Чтобы узнать сид, нужно отреагировать смайликом конверта на результат генерации в Discord. Бот отправит личное сообщение:

Видим, сетка сохранилась: в центре изображения фигура, смотрящая прямо, все герои розового цвета и в головных уборах. Однако цветы больше похожи на розы. Драконы как будто стали пожилыми. Старушка № 4 очаровательный божий одуванчик.

Продолжаем эксперимент. Заменим тюльпаны на любые цветы. Добавим крылья в промт, чтобы вернуться к желаемому образу дракона.

Из этих нежных и прекрасных дам было нелегко выбрать единственную, но мы остановились на № 1.

Итак, генерируя первые промты, мы можем нащупать общую идею конечного результата. Но чтобы не потерять ее при изменении фрагментов промта, можно использовать параметр seed (сид) . С его помощью можно генерировать похожие картинки, изменяя только некоторые детали. В нашем случае из игуан поздней осенью мы получили сказочных драконов-девушек в прекрасных шляпках из роз.

Какой календарь получился? Листайте и любуйтесь!

Бонусом сделали несколько новогодних открыток:

Не существует конкретной формулы создания идеальной картинки с помощью нейросети. Как показала практика, хорошие результаты получаются от применения комбинаций подходов и большого количества попыток генераций. Очень эффективным в нашем случае оказалось описание картинок нейросетью. Но и оно не всегда выдавало драконов именно в том стиле, который мы ждали. Тогда мы пользовались множественными итерациями запроса вариантов, среди них выбирали за что зацепиться и корректировали изображения с помощью параметров.

Эта работа нас очень вдохновила – дизайнеры плакали от счастья. Мы вложили душу в наших драконов. Случилось истинное волшебство, ведь не имея в штате иллюстраторов и 3D-художников, мы создали что-то уникальное и удивительное. Надеемся, наши заказчики оценят наши подарки.