Arcane: ручная магия в эпоху хайпа нейросетей

«Художников уволят! Дизайнеры станут таксистами! За кожаных креаторов не чокаясь!»

С этим лозунгом нейроевангелисты пророчат близкий конец для художников, дизайнеров и ещё многих творческих профессий. Вот нейросети уже почти что заменили креаторов и человеческие навыки теряют ценность. Такой газлайтинг гуляет по сети уже около года.

Но выходит Arcane, проект, где буквально всё создано вручную. Каждый штрих, текстуры, анимации, персонажи — всё проработано до деталей без мокапа, покадрово. Этот сериал обошёлся в $250 миллионов, став самым дорогим анимационным фильмом в истории (да, часть ушла на маркетинг, но косты на продакшн всё равно огромные).

*

Офтоп: Arcane — прекрасный медийный кейс. Цель проста — популяризировать лор игры League of Legends, привлечь новых игроков. Выраженной сюжетки у игры нет, поэтому студия Riot пошла по пути Blizzard и создала вокруг League of Legends целое медийное подразделение. Оно выпускает игровые клипы, музыкальные видосы, организует лайв-перформансы, создает виртуальные K-pop-группы, где вокалистки — персонажки игры и т. д. Но вершиной творчества, тем, к чему студии Riot и дизайнеры из Фортиш долго шли, стал анимационный сериал Arcane. Первый сезон стал настоящим культурным феноменом. Недавно завершился второй и последний сезон, и он продолжает быть офигенным вслед за первым, ни капельки не снижая планку качества.

*

Почему так? Неужели те, кто работал над проектом, не умеют пользоваться нейросетями? Или, может, они просто «душные старпёры», не замечающие модных веяний? Такой вывод кажется смешным. Всем экспертам, уверенным, что нейросети могут заменить художников, стоило бы напомнить: знание о продакшне у них, мягко говоря, поверхностное.

Картинка от нейросети, конечно, выглядит круто. Midjourney, Flux, да и Stable Diffusion умеют много и имеют главную ценность для массового пользователя - это почти что кнопка "сделать круто". Нейросетевое видео делает первые шаги, но шаги уверенные и впечатляющие. Но есть ключевой момент — управляемость.

Обуздать нейронки, подчинить и контролировать - магия посложнее Хекстека. А именно контроль на микроуровне нужен профессиональным студиям. Чтобы нейросети не просто творили что-то свое, но подчинялись конкретной задумке. Без полного контроля невозможна реализация крупных, сложных проектов, как у Fortiche и Riot Games. Добавим к этому еще и то, что сейчас нейрогенеративный пайплайн требует целого зоопарка дополнительных тулзов - контролнеты, адаптеры, управляторы камерой, кастомные лоры, инструменты работы с промптом, дополнения к дополнениям и прочие костыли.

Боссы Riot Games, к слову, профинансировали проект с большой неохотой, разросшийся бюджет Arcane их не порадовал. Разве они не выбрали бы способ срезать косты и сроки, если бы он был? Если бы вся студия могла заменить сотрудников нейросетями или хотя бы оптимизировать процесс?

Я не противник нейросетей, нет. Напротив, очень активно экспериментирую, изучаю и верю в то, что это прекрасная тулза будущего для дизайнеров. В своём недавнем эксперименте я создал в стилистике, натренированной на Arcane, 25 секунд видео за один день. Для сравнения, средний темп анимации в Fortiche — 5 секунд в неделю на человека. Конечно, можно возразить: мой проект не требовал создания уникального стиля, я лишь воспроизвёл уже существующий. Но почему бы тогда Fortiche не создать свою нейронку, обученную на их собственном стиле, чтобы генерировать фоны и эффекты? Ведь их художники и так уже создали тысячи кадров! Можно было бы просто натренировать модель на готовом материале первого сезона.

Но даже это не решает проблемы с правками и консистентностью. Я отчетливо понимаю, насколько ограничены были в процессе работы мои возможности по кастомизации картинки и еще больше - видео. Колдовские манипуляции через инпейнт/аутпейнт, смешение лор, донастройки промпта, замена предметов, исправление косяков, попытки исправить композицию кадра, настройки и положение "камеры", выражения лиц, эмоции и еще тысячи нюансов и деталей - всё это требует тысячи итераций без предсказуемого результата.

Специалисты Fortiche прекрасно разбираются в анимации, риггинге, 3D-моделлировании, композитинге, знают про освещение и композицию. Неужели такие люди не освоили бы промтинг, если бы он решил их задачи? Конечно, освоили бы. Но пока нейросети хороши лишь для более простых задач, вроде любительского продакшна или создания контента для соцсетей. В более сложных проектах ИИ может быть только дополнительным инструментом, на котором нельзя строить весь процесс.

Генеративные нейросети действительно способны заменить дешёвых дизайнеров, но как только встаёт вопрос о высококачественном продакшне, ИИ только поддерживает процессы, но не заменяет людей. В видеопродакшне, к слову, прогресс ещё медленнее, и до момента, когда нейросети можно будет использовать без «танцев с бубном», ещё далеко. Замена людей в креативных индустриях — это перспектива, которой пока стращают лишь телеграммные торговцы курсами.

Веду телегу про futuretech и деньги, подписывайся.