Обзор нейросети для создания видео

#нейросети

Знаю, на обзорах в последнее время много нейросеток для обработки видео. Поскольку, сейчас мы находимся в эре бума коротких роликов. Во всех социальных медиа так или иначе представлен данный формат. Поэтому не расслабляемся, а знакомимся с ресурсами, которые могут с нас снять часть технических задач.

▶ Runway — компания, занимающаяся исследованиями в области ИИ, формирующая следующую эру искусства, развлечений и человеческого творчества. Их главный продукт — это платформа на базе ИИ для генерации и редактирования видео, фотографий, и аудио.

Давайте проверим, что может эта нашумевшая нейросеть.

➧ Регистрация занимает несколько секунд через Google аккаунт. Огромный плюс: есть возможность потестить ИИ бесплатно, на это дается 125 кредитов. За более подвинутый тариф нужно уже платить 12$/мес., но там из плюшек: 625 кредитов, выгрузка видео в 4К и безлимитное количество проектов. Конечно, предусмотрен и VIP тариф за 28$/мес.

КАК ПОЛЬЗОВАТЬСЯ?

Интерфейс платформы на английском языке, но интуитивно понятно, так как все функции ИИ расположены в соответствующих разделах.

Мне удалось потестить несколько разных функций ИИ, о которых я расскажу ниже и которые вы можете посмотреть в медиа файлах к этому посту. Однако, это далеко не все способности ИИ (будем со временем разбираться).

/Функции видео/

Генерация видео — может видео преобразовать в другое видео с любым эффектом из картинки или выбранного пересета. Например, есть видео собаки и скетч-фото собаки, ИИ может сделать видео-скетч собаки. Также может сгенерировать видео из слов и соединить несколько фото в плавное видео.

Обработка видео — тут ИИ умеет многое от удаления объектов на видео до изменения эффекта видео по текстовому запросу, а также автоматически делить видео на разные сцены.

Редактирование аудио и субтитров — доступно удаление лишнего шума из видео и наложение субтитров (пока русского нет).

/Функции фото/

Генерация фото — понятно, что присутствует фича генерации фото по текстовому запросу (как в Midjorney). Из интересного можно делать «бесконечное» фото, т.е. ИИ совмещает каждый ваш текстовый запрос в одно связанное фото. (Например, кошка и мышка — это два разных запроса).

Обработка фото — также достаточно много функций: расширение картинки (очень достойно), замена фона фото (тоже лайк), повышение качества фото, удаление любого объекта с фото.

/Дополнительные функции/

3D — ИИ ваш текстовый запрос может превращать в 3D текстуру. Пока не представляю, где применять, но выглядит круто!

Обучение ИИ — платформа имеет способность обучаться на ваших референсах. Если вы загрузите десяток ваших фото в базу, то она со временем начнет выдавать лучший результат для ваших фото и видео.

Что по недостаткам?

Готовность. На самом деле я НЕ могу выявить какие-то явные недостатки, так как какие-то функции работают не стабильно, где-то платформу можно было сделать более юзер френдли. Однако, все эти недостатки прощаются хотя бы за то, что ИИ наконец-то вообще умеет делать такие вещи.

Как вы поняли, я в восторге. У нас было 3 нейросетки на обзорах и пока эта самая лучшая для создания авторских и креативных видео. Я ставлю огромный лайк и есть пара идей, как с ней сделать кайфовый рилс.

Вы готовы были бы поручить ИИ редактировать видео? Считаете это будущим?

Подписывайся на мой Telegram канал, там я еще больше рассказываю про применение нейросетей в ежедневных задачах, провожу еженедельные прямые эфиры и делаю онлайн разборы.