Цифровой пинг-понг: как мы научили нейросеть рисовать вместе с художником
И с ее помощью сделали иллюстрации для figital-пледов, которые подарили клиентам.
В art science с нейросетями экспериментируют давно. В основном это выглядит так: художник делает запрос, и алгоритм ему что-то выдает. Нейросеть генерирует изображение по текстовому запросу или по другой картинке. Похожим образом работают и генеративная система искусственного интеллекта DALL-E, и Stable Diffusion, и Midjourney.
При этом такие работы искусственного интеллекта уже официально признаны в арт-мире. В октябре 2018 года впервые в истории аукционный дом продал картину, принадлежащую кисти нейросети. Это был «Портрет Эдмонд Беллами» от арт-группы Obvious, работающей под лозунгом «Творчество не только для людей».
Мы запустили маркетинговую коллаборацию, которая доказывает, что искусственный интеллект может не только соревноваться с реальными художниками, но и выступать в роли их соавтора, помощника. В этой статье расскажу, что из этого получилось.
Любимая предновогодняя головоломка маркетинга
Вопрос, с которым наша команда сталкивается каждый год где-то в начале осени — а что мы будем дарить клиентам в декабре? К таким задачам мы пробуем всегда подходить креативно.
В этом году мы вышли на реально новый уровень для себя и разработали полноценную маркетинговую предновогоднюю кампанию. Одна из ее задач — побороть стереотип о технологиях, ИИ, которые ассоциируются с чем-то бездушным, «металлическим», непонятным. Для этого, с одной стороны, мы выбрали теплый физический носитель для подарков - плед. С другой, разработали креативную концепцию, в которой нейросеть нарисует для этого пледа иллюстрацию в коллаборации с реальным мультимедиа-художником. Так сказать, ИИ станет живым участником творческого процесса.
Концепцию нам помогла разработать команда ARKA — одно из крупнейших агентств, которое работает с digital-художниками в России. Совместно с ними мы уже нашли художника. Андрей Бергер работает и с цифровым искусством, и с офлайновым, в том числе с искусственным интеллектом, AR- и VR-технологии, eye tracker. Он провёл несколько персональных выставок в России и США, а также участвовал в десятках групповых галерейных выставок по всему миру.
«Я начал крутить мысль о некой коллаборации с облаком и его функциями. У меня уже был опыт работы с машинным обучением и были идеи и наработки, для которых нужно было найти технические мощности и экспертизу в области программирования. Этот проект оказался идеальным приложением для моих еще не осуществленных идей. Потому что для создания такого проекта нужна команда и нужен доступ к большим вычислительным мощностям. Здесь как раз сошлись все звёзды: есть команда, есть интерес, есть сам Yandex Cloud, который в это во всё включился.
Суть концепции или почему «принцип пинг-понга»
Нашу концепцию с соавторством нейросети и художника мы назвали «принципом пинг-понга». Идея была в том, что сначала ML-модель обучается на существующих работах художника, а затем Андрей загружает в нейросеть свой новый эскиз, который он подготовил для пледа. Затем иллюстрацию снова «дорисовывает» алгоритм — и такой последовательный обмен повторяется несколько раз. Получается, что словно по принципу игры в пинг-понг, картина десятки раз отскакивает от рук художника и возвращается обратно в нейросеть, проходя сквозь миллионы строк кода.
В качестве «примесей» в алгоритм сгружали самые разные изображения. Помимо эскизов художника, в процессе «смешивали» QR-коды, логотип Yandex Cloud, «Чёрный квадрат» Малевича, изображения пузырчатых, слоистых и других природных структур.
Интересно было, когда мы дошли уже до середины пути и нашли, как можно давать задачу так, чтобы машина начала выдавать действительно интересные результаты. Мы как будто бы нашли правильные параметры для того, чтобы получать результат максимально близкий к тому, что я делаю обычно.
Для создания эскиза провели более 15 «раундов» пинг-понга, которые заняли две-три недели.
Что под капотом
Для коллаборации мы использовали уже предобученную сверточную нейронную сеть VGG-19. Несмотря на то, что алгоритм был в определенном смысле «творчески свободен», нужно было задать ему ряд ограничений еще на этапе обучения. С учетом того результата, который хотелось получить, мы сформулировали их так:
- монохромная работа без полутонов,
- графичность,
- одна толщина линий,
- узнаваемость авторского стиля графики Андрея.
Предобученный алгоритм развернули в среде для ML-разработки Yandex DataSphere и обработали с ее помощью черновой эскиз художника. В сервисе был и дальнейший обмен версиями иллюстраций.
Из цифрового — в физическое
Получившееся изображение нейросети и художника нам было важно не просто перенести рисунок на ткань, а попробовать буквально «вплести» его в физический мир. Мы рассмотрели огромное количество вариантов плетения и нитей, совместно с дизайнерами и художником определили, какой формат пледа подходит лучше всего. Две нити давали монохромность и читабильность макета со всех сторон, а детализация жаккардового плетения — необходимые параметры. Найти фабрику, которая готова была изготовить для нас такие пледы было непросто, но в итоге мы нашли нужные станки в Москве. Вот что получилось:
Пледы мы подарили 1000 самых крупных клиентов по размеру потребления сервисов Yandex Cloud. Также мы организовали специальное новогоднее мероприятие с визуальными инсталляциями и работами Андрея Бергера.
Помимо этого, мы запустим выставку, где можно будет увидеть сам арт-объект. Мероприятие откроется в Музее Яндекса уже 28 января.
Команда Yandex Cloud
Максим Барановский — продюсер проекта
Алексей Трофимов — арт-директор
Ольга Молокова — дизайнер
Екатерина Золотухина — дизайнер
Мария Рычкова — продюсер
Екатерина Иванова — продюсер
Юлия Овечкина — разработчик интерфейсов
Команда ARKA
Максим Дырман — линейный продюсер
Егор Билялов — креативный продюсер
Данияр Мазитов — старший специалист по ИИ
Георгий Василиади — главный дизайнер
Команда художника
Андрей Бергер — художник
Ася Фрейя — исполнительный продюсер
Кириллов Антон — технический директор
Агентство Кошта — продакшен видеоролика
Анастасия Королькова, Юлия Смаль — фото
Подписывайтесь на блог Yandex Cloud, чтобы узнавать еще больше новостей и историй об IT и бизнесе.
Другие истории наших партнеров и клиентов, которые активно читают наши подписчики:
Собираем новости, события и мнения о рынках, банках и реакциях компаний.
До этого Трамп пригрозил ввести 10%-е пошлины на импорт из Китая, где компания производит большинство своих продуктов.
У меня было 4 машины, двухкомнатная квартира и дом в центре города. Я был не последним человеком на заводе и привык не смотреть на цены в магазинах.
Anthropic выпускает новую ИИ модель под названием Claude 3.7 Sonnet. Расскажу об особенностях модели.
Причины Apple не назвала.
переживаю за художников больше чем за себя
после такого мотивация рисовать падает, к сожалению..
не, ну получилось очень даже симпатично
Будущее уже тут
Интересно наблюдать за такими новостями , красивые рисунки
Меня пугает ИИ, что он превосходит возможности человека и механистичен. Ужас.