ИИ видео в нейросети Runway Gen-3
Привет всем!
Вышло новое обновление нейросети Midjourney V6.1. В обновлении исправили пиксельные артефакты, которые в обилии пестрили в версии V6, улучшили позы персонажей, текстуры. Даже версия Midjourney V5 - была определенно чище 6-й в текстурах. Но теперь картинка стала еще кинематографичнее и реалистичнее! Волосы перестали "шуметь", кожа моделей стала более фотореалистичной, как и свет/цвет сгенерированного изображения. Активно использую режим персонализации в нейросети, чтобы придать свой особенный стиль изображениям.
Предвосхищая комментарии хейтеров - сразу замечу, что пользователи нейросетей не конкурируют с digital художниками и cgi творцами. Называйте это - генеративное искусство (от слова искусственно), не творчество, позор и легкотня - да как угодно. Нейросети уже есть и будут, независимо от вашего принятия их или не принятия. Да, нейросетям пару лет, в более менее оформленном виде, на своем опыте показываю их недостатки и развитие, на данный этап временного исчисления.
Для работы, при генерации видео, я использую нейросеть Runway Gen-3 - которая тоже свежая, пока тестируемая, управляемая только по вашему prompt. Инструментов управления камерой пока нет. Скоро будут! Генерация видео доступна как по картинке, так и по тексту.
Когда речь идет о четком, предсказуемом сценарии, предпочитаю генерировать по изображениям, заведомо полученным в нейросети Midjourney. С одним стилем, цветом, персонажами. Так я получаю ожидаемые видео, которые затем использую в монтаже. При генерации по тексту - можете потратить большее количество попыток, чтобы получить нужный результат. Нейросеть платная, оплатив примерно 1000 руб вы получите около 20 генераций в нейросети Runway Gen-3. Из которых далеко не все будут удачные.
Ниже - отрывок видео ролика, который я делаю в соответсвие с техническим заданием и сценарием. В данном случае - трейлер для внутреннего использования и постов в социальных сетях кинокомпании. ИИ (искусственный интеллект) видео можно использовать например в презентациях на различные темы, как видеоряд к трекам и музыке, промо или превью сериала или фильма, вариантов масса, как и востребованности ИИ видео. Да, это процесс не быстрый, как на первый взгляд может показаться. Сначала генерация нужных картинок, оживление их, согласно prompts, монтаж по сценарию. К данному ролику я сгенерировал музыку в нейросети Udio по prompt. Нейросетей, генерирующих музыку уже есть несколько хороших. Также, вы можете пропускать и свои треки через нейросети, если вы композитор. Я пишу музыку и нередко уже пропускаю свои композиции через нейросеть, чтобы обогатить новыми мелодиями или саундом. Далее, сгенерированный трек (дополненный) - можно пропустить через нейросеть Vocalremover - которая разделяет трек на дорожки - основная тема, инструменты, бас, барабаны. И можно распиливать дорожки на сэмплы.
Из нейросетей, генерирующих видео, я тестировал Haiper, Kling Ai, Luma, Pika Labs, Kaiber - на мой взгляд для работы в данный момент оптимальна Runway Gen-3, как по резкости, качеству, так и по соответствию prompt.
Всем успехов и вдохновения!