Всем привет!

На связи София, комьюнити-менеджер Лаборатории «Искусство и искусственный интеллект» Европейского университета в Санкт-Петербурге.

22 марта прошел день рождения университета. В честь этого события, вместе с научным руководителем Лаборатории Олегом Лашмановым, мы создали видео-комикс с историей университета. В этом выпуске я расскажу, с каким инструментом на базе ИИ мы работали для создания изображений.

Для создания комикса мы хотели работать только с open-source моделями, поэтому выбрали инструмент Invoke. Invoke — это генеративная платформа на основе ИИ для создания визуального контента. Она помогает художникам, профессионалам и любителям создавать визуальные медиа с использованием новых технологий на базе ИИ. Платформа безопасная и простая в развертывании.

Invoke использует несколько основных базовых моделей генеративного ИИ, включая SDXL и Stable Diffusion 1.5. У пользователей также есть возможность интегрировать и использовать свои собственные модели. По пользовательским правилам запрещено использовать модели, копирующие образы людей или стиль ныне живущих художников без их согласия.

Инструкцию по развертыванию вы можете найти здесь.

А пока пройдемся по пользовательским особенностям.

Invoke позволяет создавать изображения из текстовых или визуальных промтов, а также собственных эскизов. Всё это в рамках одного холста.

Платформа предлагает базовые модели с открытой лицензией, то есть создаваемый вами контент принадлежит только вам и вы можете хранить, использовать и изменять модель по своему усмотрению.

В инструменте доступны следующие функции:

Для наглядности работы с платформой покажу, как мы работали над комиксом с помощью Invoke.

Перед нами стояла задача — сделать визуально правдоподобные (и немного комичные) иллюстрации из событий жизни университета. Иногда источником служил только текст, иногда архивные фотографии.

Например, нам нужно было создать сцену разговора в кабинете:

Пишем текстовый промт для создания сцены. В “Negative Prompt” можно указать, чего в изображении точно не должно быть. В “Positive Prompt” я ввела: “Discussion between two men at the table. Government cabinet. Black and white comics style.”

Спустя несколько итераций получилось такое изображение:

Все версии сгенерированных изображений сохраняются на панели справа. Можно добавлять изображение в избранное, тогда оно закрепится в самом начале. Также можно группировать их по тематическим доскам. При нажатии на изображение правой кнопкой мыши появляется панель с дополнительными функциями. В том числе можно воспользоваться промтом выбранной картинки.

Так как главными персонажами комикса были реальные люди, нам было важно создавать изображения, близкие к реальной внешности героев. И в Invoke это возможно — с помощью нейросети ControlNet. ControlNet — это нейронная сеть, которая управляет генерацией изображений в Stable Diffusion, добавляя дополнительные условия. Отправной точкой в создании изображений является текстовый промт. Сеть использует текстовые подсказки как одно из условий для создания изображений.

В дополнение к текстовому промту ControlNet добавляет еще одно условие. Сеть принимает дополнительное входное изображение и обнаруживает его контуры с помощью детектора Canny. Изображение, содержащее обнаруженные контуры, затем сохраняется как контрольная карта. Оно передается в модель ControlNet в дополнение к текстовому промту.

Возвращаемся к истории университета. 10 августа 2018 происходит долгожданное событие: Европейскому университету возвращают лицензию. Учебный процесс возобновляется. Для этой сцены мы решаем взять за основу популярный мем с Робертом Дауни-младшим (aka Железный человек).

Сначала мы генерируем изображение в стиле черно-белого комикса, пропуская его через ControlNet в режиме “Text to image”. В положительном промте не забываем прописать условие: “Black and white comics style”.

По сценарию событие происходит спустя месяц после назначения ректором Вадима Волкова. Задача — повторить мем с лицом В. В. Волкова. Решение снова находим в ControlNet.

Переходим в режим “Unified Canvas”, переносим с правой панели сгенерированное изображение. На панели над изображением выбираем кисточку и режим “Mask”, выделяем лицо и загружаем портрет ректора в разделе “Control”.

Вуаля:

Иногда требовалось в точности повторить событие/персонажа по архивным фотографиям. Вот, например, в 2013 году Европейский университет посетил Славой Жижек.

У нас имелась эта фотография:

В режиме Text to image загрузили ее в Control. И вот итог:

Это был мой первый опыт работы с подобной платформой. Оказалось, что Invoke — приятный и довольно простой в пользовании инструмент, который позволяет гибко работать с изображениями и отвечать на поставленные условия. Надеюсь, и вы найдете его полезным.

На сегодня всё. Удачи!

Подробнее о лаборатории «Искусство и искусственный интеллект» Европейского университета в Санкт-Петербурге: