Нейросеть дня «Runway»: генерируйте видео на основе текстовых заданий и собственных изображений

Можно констатировать факт, что ChatGPT пишет лучше, чем большинство людей, а StableDiffusion и Midjourney рисуют лучше, чем большинство иллюстраторов и художников. Следующая большая область для развития ИИ — создание видео. Тут пока нейросетям до людей далеко, но кое-что они уже умеют.

Runway — ИИ сервис для создания и обработки видео. Это Clipdrop в мире видео со множеством разных возможностей, в следующем посте сделаю обзор на другие его функции. А пока поговорим про главную — создание коротких видео на основе текстовых запросов или изображений.

Есть три варианта генерации в Runway:

На основе вашего изображения без описания — сервис на свой лад анимирует ваше изображение. Иногда получается как в Гарри Поттере, но чаще что-то безумное или даже пугающее)
Текстовое задание без изображения — нейросеть попытается понять, что вы имели в виду, и создаст короткое видео (5 секунд). Скорее всего, вы получите что-то далекое от ожидаемого
Ваше изображение + тестовое задание — прикрепите изображение и опишите, что вы хотите получить. В таком случае промптом будет являться и картинка, и текст. Вы получите более точный результат.

В прикреплённом видео вы можете увидеть результат генерации на основе изображения с текстовым заданием. Загрузил фото, где я, сидя на корточках и улыбаясь, глажу ретривера. И написал задание «petting the dog». В результате получаем улыбающегося мужика, который гладит ретривера в схожей обстановке и позе.

Рекомендую тоже поиграться с моделью и прикоснуться к пока кривому, но будущему. Для теста вам дадут около 110 секунд бесплатной генерации (хватит на 22 видео). Подписка стоит $12 в месяц и даёт ещё 125 секунд. Работает только на английском языке.

-----

Авторские обзоры ИИ-инструментов несколько раз в неделю. Удобнее читать в Telegram — https://t.me/universe_ai