Wan 2.2 Animate: анимация персонажей по фото и видео с движениями — открытая модель даром для всех
Терминатор танцует джигу-дрыгу, лев Бонифаций демонстрирует лунную походку, Джокер играет на гармошке, а Супермен исполняет брейк-данс. Или любые другие сценарии. В общем, теперь каждый может стать «кукловодом» любого персонажа!
Alibaba представила Wan 2.2 Animate — открытую видео-модель для анимации персонажа по фото и замены лица в готовом видео. Это часть семейства моделей Wan 2.2, которое включает преобразования текста в видео (T2V), речи в видео (S2V) и другие варианты. Я о ней уже рассказывал вот здесь.
Что же наши неугомонные товарищи запилили на этот раз?
Вы загружаете фото героя (это может быть как сгенерированный персонаж, так и фото человека) и видео с нужными движениями. Модель извлекает из видео позы и движения. Дальше можно выбрать один из двух режимов:
- Animation — из фото создаётся ролик — модель переносит движения и мимику из видео на персонажа (персонаж с фото/картинки двигается так же, как персонаж с видео)
- Replacement — загруженное видео останется тем же, но модель заменяет персонажа в нём на персонажа с фото/картинки
Можно выбрать только анимацию лица или сделать полную замену тела, с сохранением движений и даже синхронизировать артикуляцию.
💬 Это просто крутотень, ребята! По сути, можно, не обладая навыками аниматора/оператора/мультипликатора, создавать мультфильмы или, например, рекламные ролики с любыми персонажами и самому их анимировать или брать готовые движения из сцен фильмов, мультфильмов или любых видеозаписей, да хоть балет или выступления танцоров и фигуристов!
🔗 Попробовать — create.wan.video
Подписывайтесь на Telegram Нейрочеловек.