Runway: замена видеомонтажера? Обзор нейросети для видео

Как и любой блогер, я бы хотел иметь под рукой инструмент, который может монтировать видео за меня. Узнав про нейросеть Runway, в которой есть 30 различных ИИ инструментов для монтажа и редакции фото, я решил протестировать её функционал.

В этой статье делюсь подробным гайдом по использованию ИИ-инструментов видеомонтажа.

Шаг 1. Регистрация в Runway

Перехожу по ссылке: https://runwayml.com/ и регистрируюсь, нажав Try Runway for Free в центре экрана, либо Sign up в правом верхнем углу.

Runway: замена видеомонтажера? Обзор нейросети для видео

Авторизоваться можно через Google или Apple аккаунт, либо email.

Runway: замена видеомонтажера? Обзор нейросети для видео

При оформлении подписки открывается широкий функционал, но Runway доступна бесплатно — можно создать 3 разных видеопроекта.

Runway: замена видеомонтажера? Обзор нейросети для видео

Шаг 2. Приступаю к работе

Чтобы создать новый проект, выбираю Create New Project в меню справа:

Runway: замена видеомонтажера? Обзор нейросети для видео

Можно создать видео с нуля, либо использовать AI инструменты из раздела «Magic Tools» для работы с уже готовым материалом.

Runway: замена видеомонтажера? Обзор нейросети для видео

При создании видео с нуля вы можете пользоваться готовыми шаблонами, размещая собственные видеоматериалы/изображения и текст. Функция Upload служит для загрузки файлов, в папке Assets будут храниться ваши загруженные медиа, а готовые образцы можно взять в разделе Templates.

Runway: замена видеомонтажера? Обзор нейросети для видео

Но главные особенности Runway заключаются не в создании и редактуре видео, а в 30 разных AI инструментах.

Шаг 3. Что может ИИ в Runway?

Runway: замена видеомонтажера? Обзор нейросети для видео

Условно инструменты сервиса я разделил на несколько категорий:

  • Генерация видео и изображений по текстовым запросам или из готовых материалов.
  • Работа с объектами на видео: удаление объектов, блюр лиц, заливка ч/б видео цветом, датчик движения объектов и т.д.
  • Работа с фоном видео: удаление или замена фона, добавление зеленого экрана, блюр.
  • Редактирование видео: удаление лишних шумов, раскадровка видео, генерация субтитров и транскрипция видео.

Функционал нейросети огромен, я протестирую только несколько функций, чтобы выяснить, насколько они эффективны.

Функция «Удалить объект»

Для тестирования я скачал стоковое видео, чтобы не нарушать авторские права. На сайте Runway в разделе AI Magic Tools находим инструмент Inpainting:

Runway: замена видеомонтажера? Обзор нейросети для видео

Загружаю видео с устройства, нажав Upload, и перетаскиваю его мышкой из списка Assets на рабочую панель (пустой черный прямоугольник):

Runway: замена видеомонтажера? Обзор нейросети для видео

С помощью кисти Brush выделяю объект, который хочу удалить:

Runway: замена видеомонтажера? Обзор нейросети для видео

Если объект на видео слишком активно передвигается, придется выделить более обширную область, чтобы не пришлось редактировать каждый кадр.

Runway: замена видеомонтажера? Обзор нейросети для видео

На скриншоте из середины видео заметно, что объект исчез, однако при проигрывании будет заметно движение, будто олененок стал невидимым. В целом, инструмент удаления объектов хорошо справляется с задачей, особенно если вам нужно убрать статичный объект из поля зрения.

Чтобы сохранить видео на устройство, выбираю функцию Export в правом верхнем углу. Видео отправляется в коллекцию созданных, а после загрузки его можно будет скачать наведением на правый верхний угол.

Runway: замена видеомонтажера? Обзор нейросети для видео

Конечный результат:

Функция «Генерация видео на основе видео и текста»

Усложняю задачу нейросети и генерирую новое видео. Я скачал другое стоковое видео с девушкой, идущей по улице. Перехожу в раздел Gen-1: Video to Video и выбираю материал из папки Assets:

Runway: замена видеомонтажера? Обзор нейросети для видео

В разделе Presets выбираю фильтр для будущего видео:

Runway: замена видеомонтажера? Обзор нейросети для видео

Рядом в разделе Prompts пишу, что должно быть в видео. Продолжительность генератива всегда будет 3 секунды, т.к. это beta-функция. Мой вариант — a girl is running (девушка бежит).

❗ Не загружайте в нейросеть видео дольше 3 секунд, иначе генерация «зависнет».

Такое видео получилось на основе стокового с учетом заданных фильтров и промпта:

Runway: замена видеомонтажера? Обзор нейросети для видео

Нейросеть следует заданным паттернам, но не стоит ждать от нее чего-то гениального.

Инструмент «Автоматическая замена фона»

Листаю до конца главного меню и выбираю «Replace Background», это интереснее, чем просто наложить зеленый экран.

Runway: замена видеомонтажера? Обзор нейросети для видео

Скачиваю из стока видео с изображением нескольких человек, чтобы усложнить запрос. Действую по такому же принципу, что и с другими проектами — добавляю свое видео с помощью кнопки Upload в левом верхнем углу.

Runway: замена видеомонтажера? Обзор нейросети для видео

Чтобы оставить объект на видео, нужно просто щелкнуть по нему мышкой. ИИ хорошо определяет, что должно остаться на видео, но иногда нужно выделить детали:

Runway: замена видеомонтажера? Обзор нейросети для видео

Чтобы убрать лишнее выделение, на правой боковой панели выбираю функцию «Exclude». Для результата жму «Replace Background».

Runway: замена видеомонтажера? Обзор нейросети для видео

На странице готового проекта можно вернуться к редактированию в разделе «AI Magic Tools». Для заливки нового фона выбираю понравившееся изображение со звездным небом, к примеру, и загружаю его через кнопку Upload. Чтобы новое изображение стало фоном для видео, перетаскиваю на дорожку под видео:

Runway: замена видеомонтажера? Обзор нейросети для видео

Теперь стоковое совещание проходит среди прекрасного пейзажа. Для сохранения видео на устройстве нужно нажать «Export», а затем скачать его из папки Assets.

Готовый результат:

Мнение

Опробовать весь функционал Runway разом не получится — нужно покупать подписку. Некоторые инструменты повторяются, особенно по замене фона. Я не заметил разницы между добавлением зеленого экрана и автоматической заменой фона.

Тем не менее, у платформы есть потенциал: интерфейс интуитивно понятный, а большинство инструментов сокращают работу с видео в разы. Вместо кропотливого выделения объектов на видео достаточно выбрать их в один клик — ИИ самостоятельно продолжит начатое. Впечатляет выбор функций по созданию видео, изображений, текстур на основе картинок или текстовых описаний.

Если разработчики приложат достаточно усилий, в будущем Runway обойдет по функционалу всеми полюбившуюся Midjorney или известную D-ID.

Не забудьте подписаться на мой Телеграм-канал, чтобы получить больше подробных и интересных разборов нейросетей и гайдов по ним.

88
2 комментария

Очень интересно. На видео с олененком более естественно получилось