Нейросеть Viggle AI: как оживлять мемы и создавать собственные за несколько минут

Viggle AI может заставить любого человека танцевать, играть в футбол и ходить по подиуму.

Сервис Viggle AI завирусился благодаря мемным видео: пользователи подставляли лица известных людей и интернет-персонажей в ролики с танцами. Внимание мемоделов он привлек, потому что позволяет быстро, легко и бесплатно «оживить» картинку, используя готовые шаблоны или загруженные файлы. Результат не сравнится с по-настоящему дорогой анимацией, но отлично подходит для коротких видео в TikTok или на YouTube.

В июне 2024 года Viggle набрал популярность в TikTok — танцевальное движение из нейросети стало трендом. Пользователей привлекла простота и скорость создания контента в Viggle.

Чаще всего сервис используют для мемов с танцами — в нем можно заменить персонажа из видео на другого человека или перенести движения из короткого ролика на картинку.

Нейросеть использует технологию JST-1: по словам разработчиков, эта модель позволяет плавно и незаметно объединять персонажей с окружением, а также хорошо «понимает» физику объектов. Также в числе преимуществ команда выделяет простоту интерфейса — любой пользователь даже без технических знаний может сгенерировать видео за несколько минут, а затем поделиться им в соцсетях.

Viggle обещает обрабатывать ролики за 2-5 минут, но на деле это занимает менее минуты.

Первая же страница сайта отсылает к Discord-сообществу проекта, а также предлагает скачать приложение на IOS или Android. Функции везде одинаковые.

На сайте и в приложении нужно пройти короткую регистрацию с помощью электронной почты, а в Discord — принять приглашение в сообщество, ответить на несколько вопросов и ознакомиться с правилами. Вопросы нужны для внутренней статистики: сервис спросит, откуда вы узнали про нейросеть, на каком языке говорите и чем интересуетесь (например, играми или искусством). В отличие от личного аккаунта на сайте, Discord-сообщество — это публичное пространство, где могут забанить. Например, за оскорбительный или шокирующий контент.

У сервиса их два: Mix и Move. На сайте или в приложении их можно переключать ползунком, а в Discord — ввести команды /move, /mix или /animate (последняя предлагает использовать шаблоны анимаций из библиотеки Viggle). Принципиальное различие режимов: если в Mix можно «вставить» персонажа в видео, Move заставляет двигаться человека на фотографии, не меняя ее фона. Иными словами, если нужно оставить фон из ролика, подойдет Mix, если с фото — Move. Также в режиме Mix оригинальный фон можно заменить на белый или зеленый.

Mix полезен, если ролик понадобится обработать в стороннем приложении. А если на исходном видео камера перемещается или трясется, обработанный в этом режиме персонаж не будет «прыгать» по экрану, наоборот — он будет перемещаться вместе с окружением.

Раздел Motion предлагает выбрать видео из библиотеки сервиса или загрузить свое. Главные условия: в ролике может быть только один персонаж, его движения не должны быть размытыми, а освещение лучше подбирать хорошее, чтобы модель различила, что происходит.

Их можно выбрать во вкладке Template. Видео по готовым анимациям часто получаются более четкими и плавными. Среди шаблонов, например, танцы из игры Fortnite, видео со спортивных матчей, фрагменты фильмов и даже кусочек клипа Рика Эстли Never Gonna Give You Up — своего персонажа можно вставить в рикролл.

Действующих лиц в готовых шаблонах может быть несколько (заменить при этом можно только одного героя). Также среди шаблонов есть ролики, снятые не одним кадром, а с нарезкой.

Шаблонов фотографий в Viggle нет — пользователь должен самостоятельно загрузить картинку, чтобы «оживить» персонажа на ней. Подойдет фото любого размера, желательно — в полный рост и на однотонном фоне (но необязательно).

Как сгенерировать видео в Viggle

Загрузили изображение Льва Толстого по пояс и соединили его с готовым шаблоном анимации: голубую рубашку писателя нейросеть оставила, а брюки «придумала» сама.

Лев Толстой помог выявить самый очевидный недостаток сервиса: порой Viggle криво «натягивает» текстуры. Несмотря на то, что сервис обещает реалистичную и качественную анимацию, результат генерации с реальным видео перепутать нельзя.

Усложним задачу: попросим Viggle подставить мужскую фигуру на видео, где танцует женщина. Так получился «американский психопат» Кристиан Бэйл в видео Инстасамки. Viggle неплохо поработал с мимикой и пластикой, но узкие плечи Бэйл явно позаимствовал у певицы. Также в ролике остались артефакты из оригинала — размытые пятна у головы и рук.

Viggle плохо понимает не только разницу мужских и женских пропорций, но и особенности телосложения. Дэнни де Вито, наложенный на шаблон танца, значительно похудел и вырос по сравнению с оригиналом. Не справилась нейросеть и с мимикой актера. Должно быть, ИИ сбила с толку широкая улыбка на фотографии.

Пока нейросеть работает только с фото людей. Если загрузить изображение мультяшного персонажа или животного, результат получится сомнительным или даже пугающим. Например, текстуру Джека из «Кошмара перед Рождеством» сервис «натянул» на женскую фигуру. Чуть лучше он справился с диснеевской Моаной, более приближенной к человеческим пропорциям.

Для лучшего результата стоит подбирать фото и видео с людьми, близкими по телосложению. Так меньше вероятность, что нейросеть не поймет, как перенести мужскую фигуру на женскую или мультяшку на человека.

Сгенерированные видео хранятся в разделе Library: ничего не потеряется и при желании их можно удалить. Чтобы найти ролик в Discord-канале, достаточно вбить в поиск ваш ник.

Видео можно скачать в формате MP4. На него можно дать ссылку (она переведет пользователя на сайт). А вот кнопки «поделиться в соцестях» у Viggle не предусмотрено: предполагается, что пользователь скачивает видео и заливает его на нужную платформу вручную.

У Viggle две тарифа — бесплатный и Pro.

За 9,99 долларов в месяц можно загружать видео любого размера, генерировать до 10 роликов одновременно и удалять с них вотермарку сервиса. Расширенная версия также обещает приоритетную генерацию и ускоренную обработку длинных видео.

Анимацию Viggle все еще нельзя назвать убедительной и правдоподобной: в глаза сразу бросается дерганность движений и эффект «зловещей долины» от перенесенной мимики (особенно это заметно на крупных планах лица). Разработчики обещают быстрый и качественный результат для всех, в том числе для людей, незнакомых с видеомонтажом, но для этого скорее всего придется дополнительно обрабатывать видео в сторонних программах.

Поделитесь, пользуетесь ли вы Viggle AI, с какой целью и довольны ли результатом? А если есть опыт работы с аналогами, расскажите о лучших или худших вариантах.