Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей

На связи Роман из Нейросекты и сегодня у нас очередной пост поклонения могуществу нейросетей. Я расскажу, как легко делать видеоуроки, презентации и другой контент с закадровой озвучкой, на примере видеосказки про кролика Оливера, которую написала нейросеть.

Текст сказки нам напишет ChatGPT вот по такому промпту (промпт — это запрос к нейросети):

Я хочу озвучить свою сказку голосом Стивена Фрая, который записывал аудиокниги по Гарри Поттеру, поэтому русский текст я перевожу на английский таким промптом: «Can u rewrite your story in british english?».

Если у вас нет прямого доступа к ChatGPT, мы собрали обходные пути.

Чтобы нарисовать хорошие иллюстрации через Midjourney, нужны хорошие промпты. Если просто написать «нарисуй мне кролика в волшебном лесу», результат будет каждый раз разный, плюс не будет стиля детской сказки. Поэтому я открыл платную базу промптов и пошел в раздел fantasy:

Я советую использовать именно базы промптов — это самый быстрый способ получить желаемый результат. Вот бесплатные базы:

https://www. blueshadow. art/midjourney-prompt-commands

https://prompthero. com/midjourney-prompts

https://aituts. com/midjourney-v5

Чтобы нарисовать кролика Оливера, я выбрал вот этот промпт:

Он содержит имена художников, которые влияют на стиль картинки. Обратите внимание — нигде в промпте не указано, что кролик должен быть в рюкзаке. Видимо слово «exploring» намекает нейросети, что без рюкзака в лес нельзя. В конце я добавил флаг --ar 16:9, чтобы изображение было не квадратное.

Дальше по сюжету Оливер встречает белую олениху и надо сгенерировать ее лицо. С этим пришлось немного помучаться:

В новых версиях Midjourney стал платным, поэтому держите альтернативы:

Кандинский

Stable Foundation

Unstability AI

Тут я советую один из лучших нейросетевых генераторов речи на данный момент — Elevenlabs. Русский не поддерживается, но за деньги есть немецкий, польский, испанский, итальянский, французский, португальский и хинди. Для синтеза русской речи можно использовать например voicebot.

Введите в elevenlabs свой текст и понажимайте на разные демо-голоса — почти нет «роботических» пауз и автотюна, местами интонацию не отличить от человеческой. А главное — за 5$ в месяц можно создать уникальный голос на основе своего семпла.

Этим мы и займемся. Находим на Ютьюбе аудиокнигу, озвученную Стивеном Фраем, скачиваем аудиодорожку и «скармливаем» её нейросети. Теперь полученным голосом можно озвучивать любой текст:

Встает вопрос легальности использования голоса. Когда мы загружаем семпл, то ставим галочку, что не делаем голос для мошенничества. Но легально ли озвучить например свою аудиокнигу чужим голосом? Конечно, не указывая, что это Стивен Фрай.

В принципе, если твой голос похож на Филиппа Киркорова, никто не запретит тебе петь, пока ты не выдаешь себя за него. Поэтому пока прецедентов о запрете использования нейросетевого голоса мы не нашли — напишите, если знаете такие.

Открываем бесплатный редактор Сlipchamp и прямо в браузере монтируем ролик. Добавляем аудиодорожку, фоновую музыку из библиотеки, делаем плавные переходы и наезды картинки.

В результате получился вот такой эпизод из сказки о кролике Оливере:

Можно поэкспериментировать с эффектами на видео, добавить паузы в озвучку, можно использовать «сиды» для генерации картинок. Но для часа работы в одиночестве результат неплохой.

Еще пару лет назад для подобного ролика потребовались бы:

А сегодня можно в одиночку собрать по этому методу видеоинструкцию, презентацию, урок для курса и другой контент.

Надеюсь, вам было полезно. Не забудьте подписаться на канал Нейросекты — там мы пишем обо всех новых нейросетевых инструментах и тестируем их вместе с подписчиками.