Как создать мультфильм с помощью нейросетей

Пока все ждут Sora от Open AI, команда Нейрогида подготовила инструкцию как создать мультфильм при помощи нейросетей.

Есть много разных способов и нейросетей, которые помогут это сделать быстро, но мы остановимся на чате GPT, Pika Labs и GEN2.

Необходимо создать основного персонажа для мультфильма, продумать, какие эмоции будет вызывать этот персонаж у аудитории, на которую вы будете транслировать мульт. Если вы затрудняетесь с брифом, можете
попросить чат GPT его сформулировать для вас.

Получаем ответ: Основные характеристики персонажа:
Вид: Медведь.
Цвет: Белый, пушистый.
Размер: Небольшой, подходящий для детских объятий.
Характер:
Личность: Добрый и наивный, с ярко выраженной детской непосредственностью.
Эмоциональные черты: Выражение лица всегда дружелюбное и открытое, большие глаза подчеркивают его наивность и доброту.
Поведение: Любознательный, часто попадает в смешные ситуации из-за своей наивности, но всегда находит положительные стороны в любой ситуации.
Визуальный стиль:
Одежда/аксессуары: Может носить простой аксессуар, например, маленький шарфик или бант, добавляющий уникальности образу.
Текстура шерсти: Мягкая и пушистая, что делает его особенно милым и привлекательным для детей.
Интерактивность с другими персонажами:
Роль в сюжете: Часто служит катализатором событий в истории, его действия или реакции могут двигать сюжет вперёд.
Отношения с другими персонажами: Имеет друзей среди других животных, с которыми разделяет свои приключения, его наивность и доброта делают его любимцем в группе.
Функциональность в мультфильме:
Учебный потенциал: Через его приключения и ошибки маленькие зрители могут учиться различать хорошее от плохого, развивать эмпатию и дружелюбие.
Уровень активности: Активный участник событий, несмотря на свою наивность, он способен на решительные и смелые поступки, если это необходимо для помощи друзьям.

Далее переводим на английский язык наш бриф, идем в агента GPTs по созданию персонажей - Consistent Character GPT👉 Fast&High Quality, добавляем описание нашего персонажа и ждем, когда бот сгенерит медвежонка. Получился такой симпатяга:

Снова идем в чат GPT и просим написать сценарий для мульта.

Получаем сценарий:

Название мультфильма: "Медвежонок и Звездный Подарок"

Кадры и сюжет мультфильма (1-минутное видео):

Кадр 1: Описание: Начало ночи. Медвежонок смотрит на звездное небо, лежа на мягкой траве. Действие: Медвежонок в восторге от звезд, его глаза светятся радостью.

Кадр 2: Описание: Медвежонок замечает падающую звезду и взволнованно подпрыгивает. Действие: Он зажимает лапы вместе, загадывая желание.

Кадр 3: Описание: Звезда падает в лес, оставляя за собой светящийся след. Действие: Медвежонок с волнением решает найти её.

Кадр 4: Описание: Путешествие через лес. Медвежонок осторожно пробирается между деревьями. Действие: Лицо медвежонка освещено блеском падающей звезды.

Кадр 5: Описание: Медвежонок находит маленькую звезду, тихо пульсирующую на земле. Действие: Он нежно прикасается к ней лапкой, и звезда начинает ярче светить.

Кадр 6: Описание: Звезда вдруг поднимается и начинает кружить вокруг медвежонка. Действие: Медвежонок смеется и вертится вместе со звездой, играя с ней.

Кадр 7: Описание: Звезда летит обратно в небо. Медвежонок машет ей лапой прощально. Действие: На лице медвежонка счастливая улыбка.

Кадр 8: Описание: Медвежонок возвращается домой под светом звезд. Действие: Он укладывается спать, закрывая глаза с мечтательной улыбкой.

Этот мультфильм показывает магию детской наивности и радость открытий. Медвежонок через своё приключение учит зрителей ценить моменты удивления и волшебства в повседневной жизни.

Далее снова переводим на английский, это можно сделать сразу в чате GPT и возвращаемся в агента GPTs.

На данном этапе необходимо создать иллюстрации по каждому кадру из сценария нашего мультфильма. Снова открываем агента GPTs Consistent Character GPT👉 Fast&High Quality. Просим чат предоставить 'the
gen_id' нашего изображения, сгенерированного в шаге 1. Таким образом нейросеть запомнит как будет выглядеть персонаж и с каждой итерацией будет понимать, о каком персонаже идет речь и будет рисовать именно его.

Ответ: The generation ID for this picture is nGbIxyxDf2yeOAoR.

Далее пишем промты для каждого кадра по формуле:

Кадр 1

Кадр 2

Кадр 3

Кадр 8

Здесь начинается самый творческий процесс - оживление иллюстраций. Для данных задач можно использовать Pika Labs или Gen 2. Попробовать Pika Labs можно в дискорде http://discord.gg/pika в ветках #generate . Выбирайте функцию "animate". В GEN 2 есть 105 бесплатных секунд для генерации видео, потом можно просто завести еще один аккаунт Google.

Анимируем все кадры. Если захотите убрать водяные знаки, можно воспользоваться нейронкой Apowersoft. Озвучку делали через бота Телеграм - @steosvoice_bot
Бот синтезирует текст более чем 400 голосами, в том числе и мультяшными.

Для данной задачи отлично подходит программа Сap Сut. Заливаем все наши анимированные картинки, подбираем музыку для разных кадров, добавляем заголовок и мульт готов!

Как еще можно было создать персонажа и иллюстрации с ним? Можно было воспользоваться Midjourney, благо есть такая волшебная функция как Character Reference. Но это уже совсем другая история.
Хотите знать больше про нейросети? Подписывайтесь на наш канал