Как и любой блогер, я бы хотел иметь под рукой инструмент, который может монтировать видео за меня. Узнав про нейросеть Runway, в которой есть 30 различных ИИ инструментов для монтажа и редакции фото, я решил протестировать её функционал.
В этой статье делюсь подробным гайдом по использованию ИИ-инструментов видеомонтажа.
Шаг 1. Регистрация в Runway
Перехожу по ссылке: https://runwayml.com/ и регистрируюсь, нажав Try Runway for Free в центре экрана, либо Sign up в правом верхнем углу.
Авторизоваться можно через Google или Apple аккаунт, либо email.
При оформлении подписки открывается широкий функционал, но Runway доступна бесплатно — можно создать 3 разных видеопроекта.
Шаг 2. Приступаю к работе
Чтобы создать новый проект, выбираю Create New Project в меню справа:
Можно создать видео с нуля, либо использовать AI инструменты из раздела «Magic Tools» для работы с уже готовым материалом.
При создании видео с нуля вы можете пользоваться готовыми шаблонами, размещая собственные видеоматериалы/изображения и текст. Функция Upload служит для загрузки файлов, в папке Assets будут храниться ваши загруженные медиа, а готовые образцы можно взять в разделе Templates.
Но главные особенности Runway заключаются не в создании и редактуре видео, а в 30 разных AI инструментах.
Шаг 3. Что может ИИ в Runway?
Условно инструменты сервиса я разделил на несколько категорий:
- Генерация видео и изображений по текстовым запросам или из готовых материалов.
- Работа с объектами на видео: удаление объектов, блюр лиц, заливка ч/б видео цветом, датчик движения объектов и т.д.
- Работа с фоном видео: удаление или замена фона, добавление зеленого экрана, блюр.
- Редактирование видео: удаление лишних шумов, раскадровка видео, генерация субтитров и транскрипция видео.
Функционал нейросети огромен, я протестирую только несколько функций, чтобы выяснить, насколько они эффективны.
Функция «Удалить объект»
Для тестирования я скачал стоковое видео, чтобы не нарушать авторские права. На сайте Runway в разделе AI Magic Tools находим инструмент Inpainting:
Загружаю видео с устройства, нажав Upload, и перетаскиваю его мышкой из списка Assets на рабочую панель (пустой черный прямоугольник):
С помощью кисти Brush выделяю объект, который хочу удалить:
Если объект на видео слишком активно передвигается, придется выделить более обширную область, чтобы не пришлось редактировать каждый кадр.
На скриншоте из середины видео заметно, что объект исчез, однако при проигрывании будет заметно движение, будто олененок стал невидимым. В целом, инструмент удаления объектов хорошо справляется с задачей, особенно если вам нужно убрать статичный объект из поля зрения.
Чтобы сохранить видео на устройство, выбираю функцию Export в правом верхнем углу. Видео отправляется в коллекцию созданных, а после загрузки его можно будет скачать наведением на правый верхний угол.
Конечный результат:
Функция «Генерация видео на основе видео и текста»
Усложняю задачу нейросети и генерирую новое видео. Я скачал другое стоковое видео с девушкой, идущей по улице. Перехожу в раздел Gen-1: Video to Video и выбираю материал из папки Assets:
В разделе Presets выбираю фильтр для будущего видео:
Рядом в разделе Prompts пишу, что должно быть в видео. Продолжительность генератива всегда будет 3 секунды, т.к. это beta-функция. Мой вариант — a girl is running (девушка бежит).
❗ Не загружайте в нейросеть видео дольше 3 секунд, иначе генерация «зависнет».
Такое видео получилось на основе стокового с учетом заданных фильтров и промпта:
Нейросеть следует заданным паттернам, но не стоит ждать от нее чего-то гениального.
Инструмент «Автоматическая замена фона»
Листаю до конца главного меню и выбираю «Replace Background», это интереснее, чем просто наложить зеленый экран.
Скачиваю из стока видео с изображением нескольких человек, чтобы усложнить запрос. Действую по такому же принципу, что и с другими проектами — добавляю свое видео с помощью кнопки Upload в левом верхнем углу.
Чтобы оставить объект на видео, нужно просто щелкнуть по нему мышкой. ИИ хорошо определяет, что должно остаться на видео, но иногда нужно выделить детали:
Чтобы убрать лишнее выделение, на правой боковой панели выбираю функцию «Exclude». Для результата жму «Replace Background».
На странице готового проекта можно вернуться к редактированию в разделе «AI Magic Tools». Для заливки нового фона выбираю понравившееся изображение со звездным небом, к примеру, и загружаю его через кнопку Upload. Чтобы новое изображение стало фоном для видео, перетаскиваю на дорожку под видео:
Теперь стоковое совещание проходит среди прекрасного пейзажа. Для сохранения видео на устройстве нужно нажать «Export», а затем скачать его из папки Assets.
Готовый результат:
Мнение
Опробовать весь функционал Runway разом не получится — нужно покупать подписку. Некоторые инструменты повторяются, особенно по замене фона. Я не заметил разницы между добавлением зеленого экрана и автоматической заменой фона.
Тем не менее, у платформы есть потенциал: интерфейс интуитивно понятный, а большинство инструментов сокращают работу с видео в разы. Вместо кропотливого выделения объектов на видео достаточно выбрать их в один клик — ИИ самостоятельно продолжит начатое. Впечатляет выбор функций по созданию видео, изображений, текстур на основе картинок или текстовых описаний.
Если разработчики приложат достаточно усилий, в будущем Runway обойдет по функционалу всеми полюбившуюся Midjorney или известную D-ID.
Не забудьте подписаться на мой Телеграм-канал, чтобы получить больше подробных и интересных разборов нейросетей и гайдов по ним.
Очень интересно. На видео с олененком более естественно получилось