Искусственный интеллект в кинопроизводстве

Искусственный интеллект в кинопроизводстве уже не является чем-то футуристичным и оказывает значительное влияние на производство фильмов. Интеграция искусственного интеллекта в цепочку процессов и технологий кинопроизводства помогает создавать фильмы быстрее, экономить на всех этапах их создания и в конечном итоге получать больший доход. Всё, как мы любим!

Мы еще далеки от сверхинтеллектуального ИИ, который имитирует человеческое поведение как в научно-фантастических фильмах (может, он нам и не нужен?), но специализированный ИИ уже несколько лет помогает профессионалам точными прогнозами.

Так зачем нужен искусственный интеллект в кинематографе?

Искусственный интеллект пишет историю! Люди придумывали и сочиняли удивительные истории, но они не могли гарантировать, что у фильмов, снятых по этим сценариям, будет хороший прокат в кинотеатрах. К счастью, ИИ может (Зачеркнуто). Пока нет, но к этому все стремятся. Нет, потому что после написания сценария происходит еще много производственных процессов, которые могут свести на нет все успехи ИИ.

А почему может? Алгоритмы машинного обучения обрабатывают большие объемы данных о фильмах, анализируют их и создают уникальные истории, которые могут понравиться зрителям.

Что можно анализировать? Всё!

Например, швейцарский стартап Largo.ai разработал комплексную платформу для предоставления информации кинопродюсерам, которая поможет им принять правильные решения, свести к минимуму риски и максимально увеличить шансы на успех.

Основываясь на наборе данных из 400 000 фильмов, 1 800 000 талантов и 59 000 сценариев, ИИ анализирует сценарии, чтобы выявить шаблоны, которые могут понравиться определенной демографической группе, элементы поджанров и т. д. Он оценивает выбор актеров и в конечном итоге выражает финансовый прогноз успеха в прокате.

https://largo.ai/

Еще нам понадобится ИИ, который будет анализировать саму историю среди успешных и провальных сценариев и писать свою с помощью живого человека или без него. Задача сценаристов будет заключаться в том, чтобы задать правильный тон истории, определить соответствие жанру, описать начальные материальные и нематериальные параметры персонажей и направить историю к нужному финалу.

В 2019 году комик и писатель Китон Патти использовал ИИ-бота для создания сценария фильма о Бэтмене. Он опубликовал первую страницу веселого сценария, и он стал вирусным.

В 2020 году Calamity AI использовали Shortly Read, инструмент искусственного интеллекта, построенный на GPT-3, для написания сценария короткометражного фильма на три с половиной минуты.

https://youtu.be/AmX3GDJ47wo

А что есть из новинок? Например, NovelAI - ИИ-рассказчик на базе GPT для создания уникальных историй, захватывающих рассказов, соблазнительных романов или просто подурачиться.

https://novelai.net/

Пока успешные сценарии ИИ ограничиваются короткометражными фильмами, что и понятно: хронометраж меньше, вычислительные затраты меньше, смысловых ошибок меньше, ИИ не запутается в длинной истории и персонажах, ха-ха :-)

Приятным исключением может быть анимация и такие безумные мультсериалы, как, например, "Рик и Морти". Тут у ИИ наибольшие перспективы в ближайшем будущем.

Успехов ИИ и разработчикам его алгоритмов, а продюсерам - прибыли!

Подготовка к съемкам — важная и ответственная задача. Искусственный интеллект может помочь упростить процесс подготовки к производству. ИИ может планировать расписание в соответствии с занятостью актеров и других специалистов, а также находить подходящие локации, которые будут хорошо сочетаться с сюжетной линией. Оптимально, когда актеры, их агенты, локейшн менеджеры, режиссеры, продюсеры - все будут находиться на одной интернет площадке с доступной информацией для работы самого ИИ.

Есть и более глобальные задачи, это расчет финансовой успешности будущего фильма. Например, Cinelytic помогает студиям и независимым кинокомпаниям с помощью ИИ принимать более быстрые и разумные решения при создании бюджета фильма. Продюсеры могут получить критическое представление о том, как ключевые таланты увеличат шансы на успех вашего проекта и насколько. Их запатентованная система экономического подсчета TalentScores™ ранжирует таланты по их экономическому влиянию на киноиндустрию, в том числе по типу медиа, жанру и ключевым территориям.

https://www.cinelytic.com/

Текстовое описание сцены и передаваемый им смысл в представлении разных людей оказывается совершенно разным. Сценарист мог представлять все совсем иначе, чем это понял режиссер или продюсер. Поэтому обычно нанимается художник, который совместно с режиссером начинает рисовать наброски для визуального представления задуманным автором персонажей и сцены. Сейчас это можно отдать на откуп ИИ, который произведет автоматизированный перевод текста сценария в раскадровки.

Появились приложения, такие как PentoPix, позволяющие создавать анимированные 3Д-раскадровки. Это позволит режиссеру принять решение о доработки сцены или отказаться от нее вовсе. Очень полезно получить "трезвый" непредвзятый взгляд на месяцы разработки сценария ;-)

https://www.pentopix.com/

Есть проекты, которые работают немного в другой нише, но их также можно использовать для создания анимированных сторибордов. Особенно полезно это будет для диалоговых сцен.

Берется нарисованное лицо из раскадровки или рендер лица персонажа, загружается текст, а дальше ИИ анимирует картинку в соответствии с текстом или готовым звуком.

https://www.d-id.com/speaking-portrait/

Также стоит следить за приложениями для создания видео по предложенному тексту. Например, Imagen Video от Googleили Make-A-Video от Meta AI. Неплохо для старта и вдохновения!

https://imagen.research.google/video/

https://makeavideo.studio/

ИИ помогает в подборе и согласовании актеров и других талантов в соответствии со сценарием, занятостью и предпочтениями целевой аудитории.

ИИ также может помочь и во время кастинга. На основе снятых на видео проб актеров, анализируя мимику и эмоции актера, может указать на ошибки и подсказать правильные действия для предложенной роли. Такой виртуальный К. С. Станиславский: “не верю!” - и удаляет видео визитку в корзину :-).

Продюсерам также будет интересно найти в современных трендах моды, игр и стриминга новые типажи для будущих кинозвезд, которые смогут стать популярными через 2-3-5, а может и 10 лет. И только ИИ позволит вам наиболее точно моделировать глобальный или специфический профиль для выбранной территории, находя закономерности в огромном массиве данных о трансформациях типажей и аватаров.

Использование ИИ не ограничивается этапом подготовки к съемкам. Эту технологию можно использовать для создания цифровой копии актеров в фильме. Алгоритму уже можно не передавать десятки точек данных, описывающих черты лица актеров с разными эмоциями. ИИ научился захватывать движение лицевых мышц только через камеру. Затем эти данные можно использовать для наложения цифрового лица актера на его двойника или полностью цифрового персонажа. Модифицированные цифровые копии актеров помогают воссоздать персонажа в разные периоды его жизни, что помогает сохранить идентичность персонажа с течением времени.

ИИ также используют для съемок сцен с умершими актерами. Например, два любимых персонажа «Звездных войн», Кэрри Фишер (принцесса Лея) и Питер Кушинг (гранд-мофф Таркин) были воссозданы в «Изгое-один» (создатели использовали компьютерную графику, чтобы актеры выглядели точно так же, как в «Звездных войнах: Новая надежда» 1977 года). Во франшизе «Форсаж» покойный Пол Уокер был фактически воссоздан, чтобы закончить свои сцены.

В продакшене используются в основном инхаус разработки крупных студий, но экспериментировать можно и с общедоступными разработками.

Эрик Райан Чан из Стэнфордского университета в Калифорнии и его коллеги создали модель искусственного интеллекта EG3D, которая может генерировать случайные изображения лиц и других объектов в высоком разрешении вместе с базовой геометрической структурой.

EG3D и его предшественники используют тип машинного обучения, называемый генеративно-состязательной сетью (GAN), для создания изображений. Эти системы настраивают две нейронные сети друг против друга, используя одну для генерации изображений, а другую для оценки их точности. Они повторяют этот процесс много раз, пока результат не станет реалистичным.

https://nvlabs.github.io/eg3d/

https://youtu.be/m6-ECIDifa0

Технологии прикладного машинного обучения используются и для создания удивительных вымышленных персонажей. Сейчас можно использовать ИИ Midjourney и её дочерних приложений.

https://nmkd.itch.io/t2i-gui

https://stylegan-nada.github.io/

https://huggingface.co/sd-concepts-library

https://www.midjourney.com/home/

Графика и визуальные эффекты неизменно покоряют сердца людей. И здесь просто непаханое поле для разработчиков алгоритмов ИИ, ведь заменить работу “кожаных мешков” можно на каждом этапе постпродакшена. Рассмотрим только несколько из них.

Естественная и выразительная генерация человеческих движений — святой Грааль компьютерной анимации. Это сложная задача из-за разнообразия возможных движений, чувствительности человеческого восприятия к ним и сложности их точного описания. Поэтому современные генеративные решения либо некачественные, либо ограничены в выразительности.

На этом видео XRDC 2019 года Кевин Хе из Deepmotion обсуждает проблемы создания интерактивного инструмента для создания персонажей и то, как разработчики могут интегрировать интеллектуальную симуляцию персонажей в свои собственные приложения. А попробовать их инструмент можно у них на сайте в разделе Motion-Brain.

https://www.youtube.com/watch?v=MmYeaUiXJUU

https://www.deepmotion.com/ai-motion-brain

Из более прикладного у них есть Animate 3D, который позволяет создавать анимацию из видеоклипов за считанные секунды. “Благодаря новаторским функциям, таким как симуляция физики, фиксация стопы, управление замедленным движением, а теперь и полное движение тела в сочетании с отслеживанием лица и рук, вы получаете больше контроля и гибкости для создания высококачественной 3D-анимации.” Они предлагают бесплатную ограниченную подписку на создание анимации через freemium аккаунт.

https://www.deepmotion.com/animate-3d

Хороших результатов добилась команда из Тель-Авивского университета в Израиле. Они представили тщательно адаптированную генеративную модель на основе диффузии без классификатора для области человеческого движения Human Motion Diffusion Model (MDM).

https://guytevet.github.io/mdm-page/

Генеративная 3D-анимация - одно из наиболее востребованных направлений разработки ИИ для VFX индустрии.

Для текстуровщика одной из проблем было создание бесшовных текстур неограниченного размера. На базе Stable Diffusion был создан проект Barium AI для генерации текстур по текстовому описанию. Художник таким образом экономит время на поиске прототипов текстур (их может быть и больше десяти), а затем часы или десятки часов на сборку одной текстуры в 4к, 8к или большего разрешения. И чем лучше художник “владеет языком”, тем точнее и быстрее ИИ угадает желаемый результат.

https://barium.ai/

https://replicate.com/tommoore515/material_stable_diffusion

Передовыми технологиями в области генерации 3Д-объектов по фотографии обладает NVIDIA GET3D. 3D-объекты с высококачественными текстурами, сложной топологией и большим количеством деталями создаются в том же формате, что используют популярные графические приложения. Это позволяет пользователям сразу же импортировать свои объекты в 3D-рендереры и игровые движки для дальнейшего редактирования.

https://nv-tlabs.github.io/GET3D/

Вы можете поиграться с проектом DreamFusion. Его алгоритм основан на использовании предварительно обученной модели преобразования текста в 2D-изображение для дальнейшего выполнения синтеза текста в 3D-модель.

https://dreamfusion3d.github.io/

Здесь также разработчики идут семимильными шагами. Теперь редактирование видео стало доступнее для не профессионалов. Вы можете загрузить свое видео на сайт и удалить фон - ротоскопирование, отслеживать движение объектов - трекинг, удалять ненужные объекты - клинап, добавлять эффекты, редактировать звуковую дорожку и другие рутинные для композера вещи. Круто - да!

И снова не еще продакшн, но с чего-то надо начинать. Для бытовых нужд очень даже неплохо.

https://runwayml.com/videos/home/hero/heroVideoTakeD.mp4

https://runwayml.com/

Пока сервисов, использующих технологию ИИ, для помощи CGI специалистам из киноиндустрии относительно немного, и не все разработки можно использовать в продакшене, поскольку и выходное качество еще не на уровне, и связи с 3D программами, используемыми профессионалами, не у всех есть, и напрямую связать концепт персонажа из одного ИИ с созданием 3D модели в другом ИИ, его текстурирование в третьем ИИ, привязку к ригу и анимация в четвертом ИИ, встраивание в лэйаут и рендер в пятом ИИ, эффекты и композ в шестом-седьмом и тд ИИ. Но это время рано или поздно придет, и все мы станем писателями постов и комментов в соцсети ИИ VFX индустрии ;-)

Крупнейший актуальный каталог инструментов искусственного интеллекта и нейросетей для искусства и компьютерной графики находится здесь:

https://library.phygital.plus/

Вы в комментариях пишите ссылки на разные ИИ приложения для CGI индустрии, будем собирать и разбирать их достоинства и текущие недостатки для реальной работы.

Создание генеративной музыки и звуковых эффектов упростит работу над оформлением видеоряда фильма. Представьте, что ИИ смотрит ваш фильм, понимает, что происходит в кадре, подгружает синхронный звук, записанный на съемочной площадке, чистит его и добавляет звуковые эффекты. На выходе мы получаем поканальную звуковую дорожку в формате dolby Atmos, DTS или SDDS.

В 2020 году в Техасском университете в Сан-Антонио разработали ИИ AutoFoley, который позволяет синтезировать звуковую дорожку для видео файла.

https://youtu.be/uTSff5p-v1M

https://youtu.be/c--LhOG8TRc

https://arxiv.org/pdf/2002.10981v1.pdf

Открытую модель для генерации музыки предлагает сделать организация, управляемая сообществом, HarmonAI. Получить приглашение в дискорд Harmonai Play можно, подписавшись на рассылку stability.ai.

https://www.youtube.com/watch?v=KmB8z2CYjZY

https://www.harmonai.org/

И куда же без Google, которые представили AudioLM. Пока они натренировали ИИ на дописывание готового музыкального отрывка и только для фортепиано. Но это только начало, а результат уже превосходит алгоритмы, генерирующие музыку с нуля.

https://ai.googleblog.com/2022/10/audiolm-language-modeling-approach-to.html

https://youtu.be/_xkZwJ0H9IU

Кино снимается во многих странах и на разных языках. Киноискусство способствует развитию межкультурной коммуникации, содействует сотрудничеству и взаимопониманию. А основная ответственность за адекватное восприятие, понимание фильма иноязычными зрителями лежит на переводчиках. Перевод фильма должен достоверно показывать страну и её людей, культуру и традиции. Некачественный перевод названия фильма и диалогов персонажей не только затруднит просмотр, но может повлиять и на восприятие страны в целом. Для некоторых стран выбор названия фильма может являться политическим решением.

Основными видами аудиовизуального перевода при этом выступают дубляж, субтитрирование, закадровое озвучивание и синхронный перевод.

Чтобы доставлять видеоконтент с субтитрами на нескольких языках, производственные компании могут использовать технологии на основе искусственного интеллекта, такие как генерация естественного языка и обработка естественного языка. Киноиндустрия использует эти достижения в универсальном переводе, но тем не менее, вам по-прежнему нужны будут люди, чтобы обеспечить точность субтитров.

Еще одна из специфик перевода названия фильма - это подобрать такое название, которое поможет повысить кассовые сборы, и здесь ИИ сможет предложить наибольшее количество потенциально выигрышных вариантов.

Несколько примеров непрямого перевода в названиях фильмов: Мальчишник в Вегасе (Hangover — Похмелье), Подводная братва (Shark Tale — Акулья сказка), Папа-Досвидос (That’s My Boy — Это мой мальчик), Холодное сердце (Frozen — Замороженная), Зверопой (Sing — Пой).

Студии для привлечения зрителей в кинотеатры должны выпускать захватывающие и интригующие трейлеры. ИИ можно использовать для помощи редакторам в разработке таких трейлеров к фильмам. Алгоритм ИИ понимает и выделяет места с большим количеством действий или эмоций, распознает лица персонажей, чтобы редактор мог добавить их в окончательный трейлер.

Исследователи из Эдинбургского университета объединили две нейронные сети. Первый ИИ исследует видео и аудио дорожки фильма, чтобы определить интересующие сцены. А второй выносит суждение о том, что интересно. Он просматривает текстовую версию фильма, похожую на сценарий, и использует обработку естественного языка для выявления важных и эмоциональных моментов. Основываясь на том, как нейронные сети обрабатывают входные данные, завершенная модель генерирует новые трейлеры, используя «понимание фильмов». Целиком статью можно прочитать здесь:

https://arxiv.org/pdf/2111.08774.pdf

При редактировании полнометражных фильмов ИИ поддерживает редакторов фильмов. С помощью технологии распознавания лиц алгоритмы ИИ могут распознавать ключевых персонажей и сортировать определенные сцены для редакторов-людей. Быстро сделав первый набросок, редакторы могут сосредоточиться на сценах, представляющих основной сюжет сценария.

Используемая стратегия маркетинга и продвижения будет определять успех или неудачу фильма. Чтобы подтвердить, что фильм имеет кассовый успех, в процессе продвижения можно использовать искусственный интеллект. Алгоритм ИИ можно использовать для оценки базы зрителей, ажиотажа вокруг фильма и популярности актеров по регионам. Это позволяет ИИ организовывать специальные показы и встречи с фанатами в определенных местах, чтобы еще больше подогреть интерес аудитории к фильму. Также можно создавать персонализированную целевую рекламу, используя общедоступные данные человека из социальных сетей, таких как Instagram, Facebook или Weplay.

https://vault-ai.com/

Анализируя исторические данные вашего кинотеатра, влияние правил социального дистанцирования, политической ситуации и выходящих релизов, вы можете автоматизировать расписания сеансов, график работы персонала, прогнозировать кассовые сборы, дополнительные поступления и бюджеты для отдельного кинотеатра за выбранный интервал. ИИ может проанализировать расположение кинотеатра, распределение потоков людей и транспорта, их предпочтения в еде, напитках, цвете стен, расположение касс и фуд-кортов для дополнительной экономии средств и оптимизации прибыли. С помощью алгоритмов на основе искусственного интеллекта и анализа «что будет, если», вы можете оптимизировать решения о бронировании и улучшить процесс переговоров с дистрибьюторами.

https://cinemaintelligence.com/#Product

В статье упомянуты далеко не все ИИ, используемые в кинопроизводстве. И даже эти разбросаны по сети интернет без привязки к производственным процессам. Мы, это агрегатор участников международной киноиндустрии Weplay.io, предлагаем объединить разработки ИИ в одной специализированной экосистеме для удобства использования специалистами разных профилей. Если вы разработчик ИИ или представитель проекта, предоставляющий сервис ИИ, то давайте объединяться для пользы дела. О вас будут знать не только гики, но и реальные представители киноиндустрии. Пишите нам на meetreech@weplay.io.

https://weplay.io

И для закрепления материала вопрос. Сколько всего необходимо нейросеток для создания и проката полнометражного художественного фильма? :-)