Эксперимент: справится ли нейросеть Midjourney с подготовкой обложек для IT-блога так же хорошо, как дизайнер?
Многие восхищаются качеством иллюстраций, нарисованных нейронными сетями. Они находят неожиданные образы и подбирают яркие цвета. Но смогут ли нейросети взять на себя профильную задачу — создавать обложки для текстов технического блога? Мы протестировали Midjourney, в тексте делимся результатами и советами по работе.
Содержание:
Нейросеть для художников
Перед тем, как перейти к эксперименту, скажем пару слов о нейросетях и требованиях к запросам.
Поэкспериментировать с Midjourney может любой желающий. Достаточно подключиться к discord-каналу проекта. Каждому пользователю доступны 25 запросов.
Иная политика у конкурентного проекта — DALL-E: он бесплатен и не ограничивает в количестве запросов.
Мы уже писали о DALL-E. Рассказываем, что знаем о молодой и многообещающей нейросети.
Сложно сказать, какая нейросеть показывает лучшие результаты. Как и DALL-E, Midjourney умеет рисовать не только потрясающие, но и непонятные и даже пугающие изображения.
Как сформировать запрос для нейросети
При создании иллюстрации дизайнер думает о том, как лучше объединить разные элементы, которые прописаны автором в техническом задании. Аналогичным образом работает Midjourney.
Чтобы получить желаемый результат от нейронной сети, нужно корректно сформировать для нее запрос. Разработчики Midourney опубликовали советы о том, как правильно общаться с нейросетью. Выделим основные из них.
→ Пишите как для ребенка
Формулировки должны быть буквальными: без метафор, эвфемизмов, словесных каламбуров и прочего.
Неправильно: «Обезьяны занимаются бизнесом».
Правильно: «Обезьяны сидят в деловых костюмах».
Запросы лучше формировать на английском. Другие языки Midjourney понимает хуже.
→ Избегайте отрицаний
Представьте, что вам нужно выбрать одну дверь из тысячи — за ней будет сундук с золотом. Рядом стоит «помощник», который знает наверняка, где спрятаны богатства. Вы его спрашиваете, какую дверь нужно открыть, чтобы обогатиться. А помощник отвечает: «Точно не 178». Стала ли задача проще от его подсказки?
Если нужно, чтобы Midjourney нарисовала зонтик любого цвета, но не красного, попробуйте использовать отрицание. Разработчики утверждают, что языковые модели часто игнорируют отрицательные частицы, союзы и предлоги («не», «но», «кроме», «без»). Если нужен синий зонтик, напишите об этом прямо.
→ Забудьте про мелкие детали
Они могут перегрузить систему. Не нужно описывать количество морщин на морде обезьяны или число цветов в саду. Попробуйте описать черты или пейзаж одним или парой слов.
Пример генерации изображения
Чтобы сгенерировать изображение, нужно подключиться к каналу Discord, перейти в комнату newbies, ввести команду /imagine и написать свой запрос. В течение 10-30 секунд будет готова подборка из изображений.
Когда загрузка достигнет 100%, под коллажем появятся кнопки «U1, U2, U3, U4» и «V1, V2, V3, V4». Кнопки из первого ряда нужны для улучшения качества выбранных изображений — апскейлинга. А кнопки из второго ряда — для генерации картинок, «похожих» на выбранное изображение из подборки.
Тестирование Midjourney
Мы решили проверить, как к решению задач дизайнеров-иллюстраторов подойдет нейронная сеть. Похожий эксперимент провели ребята из SkillFactory: они проверили, может ли DALL-E помочь избавиться от дорогих стоковых иллюстраций.
Нам был важен не стиль рисовки, а композиция, которую может придумать Midjourney. Для этого выбрали три статьи из нашего блога и сформулировали запросы для обложек. Посмотрим, что получилось.
Обложка первая: кроличья нора
Недавно выпустили статью про долгий поиск и дебаг ошибки в мониторинге объектного хранилища. На обложке метафорично изображена кроличья нора с уходящими вглубь строчками кода, программными ошибками и разными пиктограммами. Разработчик конкретно закопался в абстракциях, и дизайнер это изобразил.
Мы протестировали несколько вариантов запросов.
Первый запрос: Rabbit hole with Python program code
Сначала попробовали описать для нейросети общую концепцию. Притом добавили: на изображении должен быть код на языке программирования Python.
Midjourney удалось повторить перспективу норы и даже нарисовать кролика. Но больше ничего общего с оригинальной обложкой нет.
Также нейросеть забавно интерпретировала упоминание языка программирования Python: на иллюстрациях встречаются текстуры, напоминающие чешую, и даже змеиные яйца.
Второй запрос: Python code in the rabbit hole and rabbit
Добавили отдельно кролика. Но нейросеть пошла дальше и нарисовала жуткого «лунтика», который вылупился из змеиного яйца.
Третий запрос: Program code in the rabbit hole and rabbit
Чтобы Midjourney не генерировала больше змееподобных кроликов, решили вычеркнуть упоминание Python. Написали проще: «программный код».
Нейросеть сгенерировала старые ЭЛТ-мониторы (первая и третья картинки). И если на второй картинке изображено что-то абстрактное, то на четвертой — чисто клон кролика из «Алисы в стране чудес».
Но откуда на первом изображении яйцо? Может, есть предположения? Делитесь идеями в комментариях.
Обложка вторая: коробка с котиками
Следующий этап тестирования — генерация обложки для статьи про машинное обучение на GPU в Managed Kubernetes.
Идея дизайнера: из коробки, символизирующей контейнер Kubernetes, вылетают картинки с котиками. Они сгенерированы в нейросети на GPU.
Первый запрос: Kubernetes container, photos with cats, machine learning, graphic processing unit
Сначала решили посмотреть, что придумает Midjourney, если просто перечислить ключевые элементы через запятую.
Итог — картинка с контейнеровозом, контейнерный терминал, какие-то полки и фотография Мурзика.
Второй запрос: Box of pictures with cats
Когда поняли, что Midjourney не сумеет придумать композицию, решили составить простой запрос: «коробка с изображениями котов». На этот раз проблем не было, если не обращать внимание на странных котов.
Обложка третья: облако на тарелке
Казалось, ничего лучше нейросеть уже не покажет. К тому же, нужно было сгенерировать иллюстрацию по сложному концепту — разделение мощности виртуального процессора.
Дизайнеры подошли к вопросу творчески — нарисовали нарезанное облако на тарелке. Но что придумает нейросеть?
Запрос: Virtual CPU, power sharing, cloud operations, shared line
Расписывать всю идею натюрморта было бессмысленно. Запрос получился бы расплывчатым и слишком длинным. Поэтому «скормили» нейросети обычную последовательность из ключевых элементов.
Результат нас удивил. Палитра и зернистость некоторых изображений очень напомнили картинки, которые рисуют дизайнеры Selectel.
Правда осмысленная композиция есть только на первой иллюстрации. Кажется, что облако лежит на квадратной тарелке, которую мы даже не упоминали в запросе.
Результат
Нам стало интересно, что будет, если мы сгенерируем дополнительные варианты первой картинки. Для этого нажали на кнопку V1.
Особенно точно идея с нарезанным облаком передана на первой иллюстрации. Нажали на кнопку U1, улучшили качество изображения и получили иллюстрацию с еще большим градусом точности.
Считаем, что это — лучший результат.
Нейросеть — конкурент? Мнение ведущего дизайнера
«Нейронная сеть способна помочь в поиске концепций — подсказать вариант, который может направить мысль дизайнера в нетривиальное русло.
Но иллюстрации все равно нужно создавать дизайнерам. Ведь в работу человека вложено больше, чем в рандомный машинный рисунок. Мы продумываем целые сюжеты и метафоры, которые могут подкрепить блог компании смыслом и красотой. Пока только дизайнеры могут привлекательно отразить айдентику бренда», — считает Алина Экизашвили, руководитель отдела дизайна Selectel.
Заменят ли нейросети дизайнеров — пока сказать сложно. Можно научить Midjourney и DALL-E делать иллюстрации в стилистике компании. Но если брендбук будет меняться, нейросети нужно будет переобучать на новых примерах, которые необходимо кому-то отрисовать. Сегодня (как и в обозримом будущем) кажется, фрилансер Midjourney в Selectel не понадобится.
Читайте также:
Погодите, но те промпты, что вы скармливали нейросети противоречат рекомендациям по составлению запросов из начала статьи. Где ваши буквальные запросы как для ребёнка?
В тексте приводим рекомендации от разработчиков нейросети. Они помогают понять, как "думает" система.
В нашем случае соблюдать эти советы на 100% сложно: мы компания со сложными техническими продуктами, нам нужно подбирать картинки под специфику и IT-темы.
Пробовали разные варианты и опытным путем выяснили, что в контексте нашего эксперимента лучше всего работают перечни ключевых элементов. Увы, пока Midjourney плохо интерпретирует выражения, подобные «программный код на Python».
Меня одного пугают картинки нейросетей? Не в смысле, что на них что-то страшное, а в смысле, что их продукт как бы имитирует результат человеческого труда. Жутко от этого.
Вы правы, в этом что-то есть. Похоже, разработчики идут в правильном направлении. Некоторые сгенерированные картины сложно отличить от настоящих. Интересно, какие результаты будет показывать Midjourney через несколько лет...
Комментарий недоступен
А мне очень нравится результат художеств нейросетей. Хотя я, как раз, дизайнер/иллюстратор. Такой кайф иногда выдаёт, просто загляденье. И у меня бы на это ушло часов 40, может больше. (не считая сколько-то лет повышения квалификации, тк придется признать, сетка круче меня рисует). А сетка за 40 секунд выдала мне 4 варианта. 4 бомбических варианта 😍
Однако, у нас был творческий запрос - для обложки альбома. Там можно позволить себе больше вольности, чем в обложке статьи.
Консистентности нет у этих рисунков