Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей
На связи Роман из Нейросекты и сегодня у нас очередной пост поклонения могуществу нейросетей. Я расскажу, как легко делать видеоуроки, презентации и другой контент с закадровой озвучкой, на примере видеосказки про кролика Оливера, которую написала нейросеть.
Шаг 1: пишем сценарий в ChatGPT
Текст сказки нам напишет ChatGPT вот по такому промпту (промпт — это запрос к нейросети):
Я хочу озвучить свою сказку голосом Стивена Фрая, который записывал аудиокниги по Гарри Поттеру, поэтому русский текст я перевожу на английский таким промптом: «Can u rewrite your story in british english?».
Если у вас нет прямого доступа к ChatGPT, мы собрали обходные пути.
Шаг 2: рисуем иллюстрации в Midjourney
Чтобы нарисовать хорошие иллюстрации через Midjourney, нужны хорошие промпты. Если просто написать «нарисуй мне кролика в волшебном лесу», результат будет каждый раз разный, плюс не будет стиля детской сказки. Поэтому я открыл платную базу промптов и пошел в раздел fantasy:
Я советую использовать именно базы промптов — это самый быстрый способ получить желаемый результат. Вот бесплатные базы:
Чтобы нарисовать кролика Оливера, я выбрал вот этот промпт:
Он содержит имена художников, которые влияют на стиль картинки. Обратите внимание — нигде в промпте не указано, что кролик должен быть в рюкзаке. Видимо слово «exploring» намекает нейросети, что без рюкзака в лес нельзя. В конце я добавил флаг --ar 16:9, чтобы изображение было не квадратное.
Дальше по сюжету Оливер встречает белую олениху и надо сгенерировать ее лицо. С этим пришлось немного помучаться:
В новых версиях Midjourney стал платным, поэтому держите альтернативы:
Шаг 3: озвучиваем голосом Стивена Фрая
Тут я советую один из лучших нейросетевых генераторов речи на данный момент — Elevenlabs. Русский не поддерживается, но за деньги есть немецкий, польский, испанский, итальянский, французский, португальский и хинди. Для синтеза русской речи можно использовать например voicebot.
Введите в elevenlabs свой текст и понажимайте на разные демо-голоса — почти нет «роботических» пауз и автотюна, местами интонацию не отличить от человеческой. А главное — за 5$ в месяц можно создать уникальный голос на основе своего семпла.
Этим мы и займемся. Находим на Ютьюбе аудиокнигу, озвученную Стивеном Фраем, скачиваем аудиодорожку и «скармливаем» её нейросети. Теперь полученным голосом можно озвучивать любой текст:
Встает вопрос легальности использования голоса. Когда мы загружаем семпл, то ставим галочку, что не делаем голос для мошенничества. Но легально ли озвучить например свою аудиокнигу чужим голосом? Конечно, не указывая, что это Стивен Фрай.
В принципе, если твой голос похож на Филиппа Киркорова, никто не запретит тебе петь, пока ты не выдаешь себя за него. Поэтому пока прецедентов о запрете использования нейросетевого голоса мы не нашли — напишите, если знаете такие.
Шаг 4: собираем все вместе
Открываем бесплатный редактор Сlipchamp и прямо в браузере монтируем ролик. Добавляем аудиодорожку, фоновую музыку из библиотеки, делаем плавные переходы и наезды картинки.
В результате получился вот такой эпизод из сказки о кролике Оливере:
Можно поэкспериментировать с эффектами на видео, добавить паузы в озвучку, можно использовать «сиды» для генерации картинок. Но для часа работы в одиночестве результат неплохой.
Еще пару лет назад для подобного ролика потребовались бы:
- Сценарист
- Художник-иллюстратор
- Диктор
А сегодня можно в одиночку собрать по этому методу видеоинструкцию, презентацию, урок для курса и другой контент.
Надеюсь, вам было полезно. Не забудьте подписаться на канал Нейросекты — там мы пишем обо всех новых нейросетевых инструментах и тестируем их вместе с подписчиками.
Делал подобное для тик-тока, есть еще нейросети, которые добавляют псевдо 3д на картинку для живости
Вау! Добавлю как обложку к посту, если вы не против
какой пользовались?
это кентавролик судя по проглядывающим задним ногам ))
вау параллакс!
Хороший практичный пример для использования AI, спасибо)
Ждём ai-анимацию)
Да, чувствуем, через 5-6 месяцев можно будет не картинки анимировать, а прям анимацию делать.
реально, очень эффектно получилось. кролик прелесть :)
Кайф! Очень хорошо получилось ^_^ По идее, можно очень быстро выйти в монетизацию на YouTube Kids с такими сказками.
Та и не только, достойная сказка везде будет спросом пользоваться.
Я еще экспериментировал с добавлением мимики тоже через нейросети. Но честно для себя модель монетизации подобных сказок не открыл. Да и слишком малый порог вхождения
Чуть не подавился кофе, когда левый глаз вышел за орбиту.
А какова конечная цель этой работы? Мы и так знаем, что может ИИ и что такое промпт. Это пример последовательности действий? Справочник?
Вы молодец, все знаете. А это пример для тех, кто не знает.
Да, это пример того, как можно сделать подобную сказку. Просто обзор технологий разных ии редакторов.
Интересно, спасибо. Но зачем сначала генерили текст на русском, а потом переводили на английский?
Это необязательно, просто так проще сходу понять о чем сказка.
Интересно, а если массово выпускать сказки через нейросети и выкладывать в аппстор и гуглстор, одобрят ли их и будет ли какой-то профит с этого
Кажется, скоро узнаем)
Тут уже пилят и вроде даже в профит. Правда все проще - только картинки и текст
https://www.bedtimestory.ai/
Комментарий удален модератором
It's Balenciaga, not balenciga
Невероятно красиво как в звуке, так и в визуале )) Прямо напрашивается русскоязычная версия, уверен, просмотры зашкалят.
Отличный кейс, автор крут
Очень занятно получилось, сказка интересно 🤔 выглядит.
Помнится, в начале 10-х (примерно 2011) баловался в "похожем направлении": небольшая "движуха" картинки (с поворотом), рябь на воде, и прочее...сделал слайд-проект для первоклассников в формате 1920*1080 (тогда это было ещё "оч.большое кино"). После видео-демонстрации родители показушно скривились и сказали "фу", а потом подослали "казачка", типа "попроси-ка видео-файл". Пришлось послать его "лесом". Позднее и винт с контентом накрылся "медным тазом"...таки дела...
Вы написали (напечатали то есть) очень "непонятный" (для меня лично) комментарий, типа "коммент"...
Очень интересно, но ничего не понятно!
Как сделать так, чтобы кролик на разных иллюстрациях был одним и тем же?
По науке надо делать через seed в Миджорни, но с таким промптом как в статье он и так примерно одинаковый везде.
очень атмосферно!
отлично получилось, очень атмосферно
Кайфово получилось! и речь можно через транскрибатор речи салют спич от сбера толкать))
Круть! Спасибо за рассказ и ссылки👍
как красиво
Вау! Прикольно, надо будет попробовать.
Очень круто! Всегда вдохновляют такие кейсы)
УЛЁТ!
Картиночки очень красивые
какая же бомбезная обложка получилась с кроликом
Если хочешь быть здоров — поклоняйся (-:
Комментарий удален модератором
Вот до чего техниха дошла... Круто очень. Хорошо, когда грамотно используешь инновации, а не для всякой ерунды
кайф, прикольно получилось.
может подскажете, какая нейросетка или сервис может сканы детских рисунков визуализировать?
хочу в скины для майнкрафта их конвертнуть. дети будут счастливы)
Когда я слышу голос Стивена Фрая, мое сердечко замирает
ВАУ!
Спасибо! Классный практический кейс. Можно детям предложить что-то свое создать, и вместе покреативить.
Классный кролик
Прекрасный пример использования AI, Спасибо!
Отличный и очень полезный пример. Спасибо.
так здорово выглядит ,с ИИ конечно такое получить можно гораздо быстрее и без особых усилий
результат супер!
Отличный кейс!
Вроде ничего необычного, и за тебя все сделала нейросеть, но это уже инструмент, и ничего зазорного в его использовании нет.
У меня похожим образом Телеграм канал ведется=)
https://t.me/happyengday
лолкек. Ну да, конечно, так много неопределенности в этом вопросе.
(нет)
Здорово, что вы знаете ответ. Расскажете?
Так есть же Манга ТВ ребята 😎 Зачем тратить час когда можно все сделать за минуту?
https://mangatv.shop/story/643983b2c41eec0375c1912c
Кстати, похоже. Но голос роботический(
Человечество все ближе и ближе к тому моменту, когда останутся одни диджеи, которые будут сидеть и прогить нужное из накопленного предыдущими поколениями. Композиторы и иллюстраторы, вместе с исполнителями должны будут отвоевывать свое место под солнцем, как когда-то Каспаров бился с Дип Блю...
Нам нужно больше контента, говорили они.
Пелевинский SNUFF это все предсказал
мне кажется иллюстрации и аудио должны быть отдельно
Не подходят друг к другу?
Elevenlabs жадничает. Приглашение нужно, или как?
Вроде бесплатно должно быть
Комментарий удален модератором
Союзмультфильм больше не нужен
Эх, еще бы не две лапы нарисовал, то было бы прям очень хорошо 😊
Это короче фитиль такой )
Нейросекта - надеюсь квартиры, кредиты и машины не просите для вступления ) Только если виртуальные.
Кролик классный(вернее кентаврокролик как его уже тут назвали), даже почти не похож на все эти стандартные однотипные фото и видео от нейросетей. Мимика в комментариях больше жуткая, а не реалистичная, но время это исправит думаю.
Надеюсь в стриминговых сервисах в будущем будут указывать что сделала нейросеть, а что вручную(если можно так сказать), не хочется в догадках теряться
Эх, я наивно полагала, что у меня одной такая идея) У меня, правда, не кролик и не Стивен Фрай 🌿
https://youtu.be/0S9ROmn5sQE