Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

На связи Роман из Нейросекты и сегодня у нас очередной пост поклонения могуществу нейросетей. Я расскажу, как легко делать видеоуроки, презентации и другой контент с закадровой озвучкой, на примере видеосказки про кролика Оливера, которую написала нейросеть.

Спасибо Alex за обложку, взяли из комментов

Шаг 1: пишем сценарий в ChatGPT

Текст сказки нам напишет ChatGPT вот по такому промпту (промпт — это запрос к нейросети):

Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

Я хочу озвучить свою сказку голосом Стивена Фрая, который записывал аудиокниги по Гарри Поттеру, поэтому русский текст я перевожу на английский таким промптом: «Can u rewrite your story in british english?».

Если у вас нет прямого доступа к ChatGPT, мы собрали обходные пути.

Шаг 2: рисуем иллюстрации в Midjourney

Чтобы нарисовать хорошие иллюстрации через Midjourney, нужны хорошие промпты. Если просто написать «нарисуй мне кролика в волшебном лесу», результат будет каждый раз разный, плюс не будет стиля детской сказки. Поэтому я открыл платную базу промптов и пошел в раздел fantasy:

Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

Я советую использовать именно базы промптов — это самый быстрый способ получить желаемый результат. Вот бесплатные базы:

Чтобы нарисовать кролика Оливера, я выбрал вот этот промпт:

ginger bunny in a jeans jacket exploring a magical forest, by Thomas Kinkade, Ellen Jewett, Jason Felix and Cedric Peyravernay, Ligne Claire featured on artstation, 8k, dslr, hyperreal --ar 16:9
Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

Он содержит имена художников, которые влияют на стиль картинки. Обратите внимание — нигде в промпте не указано, что кролик должен быть в рюкзаке. Видимо слово «exploring» намекает нейросети, что без рюкзака в лес нельзя. В конце я добавил флаг --ar 16:9, чтобы изображение было не квадратное.

Дальше по сюжету Оливер встречает белую олениху и надо сгенерировать ее лицо. С этим пришлось немного помучаться:

Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

В новых версиях Midjourney стал платным, поэтому держите альтернативы:

Шаг 3: озвучиваем голосом Стивена Фрая

Тут я советую один из лучших нейросетевых генераторов речи на данный момент — Elevenlabs. Русский не поддерживается, но за деньги есть немецкий, польский, испанский, итальянский, французский, португальский и хинди. Для синтеза русской речи можно использовать например voicebot.

Введите в elevenlabs свой текст и понажимайте на разные демо-голоса — почти нет «роботических» пауз и автотюна, местами интонацию не отличить от человеческой. А главное — за 5$ в месяц можно создать уникальный голос на основе своего семпла.

Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

Этим мы и займемся. Находим на Ютьюбе аудиокнигу, озвученную Стивеном Фраем, скачиваем аудиодорожку и «скармливаем» её нейросети. Теперь полученным голосом можно озвучивать любой текст:

Встает вопрос легальности использования голоса. Когда мы загружаем семпл, то ставим галочку, что не делаем голос для мошенничества. Но легально ли озвучить например свою аудиокнигу чужим голосом? Конечно, не указывая, что это Стивен Фрай.

В принципе, если твой голос похож на Филиппа Киркорова, никто не запретит тебе петь, пока ты не выдаешь себя за него. Поэтому пока прецедентов о запрете использования нейросетевого голоса мы не нашли — напишите, если знаете такие.

Шаг 4: собираем все вместе

Открываем бесплатный редактор Сlipchamp и прямо в браузере монтируем ролик. Добавляем аудиодорожку, фоновую музыку из библиотеки, делаем плавные переходы и наезды картинки.

Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

В результате получился вот такой эпизод из сказки о кролике Оливере:

Можно поэкспериментировать с эффектами на видео, добавить паузы в озвучку, можно использовать «сиды» для генерации картинок. Но для часа работы в одиночестве результат неплохой.

Еще пару лет назад для подобного ролика потребовались бы:

  • Сценарист
  • Художник-иллюстратор
  • Диктор

А сегодня можно в одиночку собрать по этому методу видеоинструкцию, презентацию, урок для курса и другой контент.

Надеюсь, вам было полезно. Не забудьте подписаться на канал Нейросекты — там мы пишем обо всех новых нейросетевых инструментах и тестируем их вместе с подписчиками.

177177
86 комментариев

Делал подобное для тик-тока, есть еще нейросети, которые добавляют псевдо 3д на картинку для живости

29
Ответить

Вау! Добавлю как обложку к посту, если вы не против

9
Ответить

какой пользовались?

Ответить

это кентавролик судя по проглядывающим задним ногам ))

2
Ответить

вау параллакс!

1
Ответить

Хороший практичный пример для использования AI, спасибо)

Ждём ai-анимацию)

8
Ответить

Да, чувствуем, через 5-6 месяцев можно будет не картинки анимировать, а прям анимацию делать.

6
Ответить