Как генерировать видео в нейросети Pika

Тот самый сервис, который превращает картинки в торт.

Pika — нейросетевая видеоплатформа. Тут «оживляют» картинки и создают ролики по текстовому промпту. Предметы на фото можно надуть, разбить, взорвать и сжать как игрушку-антистресс. О том, как это сделать, — в тексте.

Содержание:

После регистрации пользователь попадает на домашнюю страницу Pika AI. Здесь публикуют трендовые работы других авторов. Если понравилась чья-то генерация, можно тут же узнать, с помощью каких настроек и промптов её создавали.

Ниже — результат генерации с каждым эффектом. В этой статье будем делать анимации с белой лягушкой. Её помогла сгенерировать нейросеть Leonardo AI.

«Squish it» — раздавит объект на картинке.

«Inflate it» — надует предмет. Прям как воздушный шарик.

«Crumble it» — лягушка (в этом случае) рассыпется на части. Как если бы кто-то случайно разбил статую в музее.

«Melt it» — расплавит объект.

«Levitate it» — под таинственную музыку предмет поднимется в воздух. И под ним даже будет тень!

«Dissolve it» — лягушка растворится в воздухе.

«Deflate it» — противоположность «Inflate it». Объект сдуется.

«Ta-da it» — в кадре под торжественную музыку появится белый лист бумаги, который «унесёт» за собой предмет. Так фокусник заставляет голубя исчезнуть.

Есть ещё несколько эффектов, которые на лягушке лучше не тестировать. Слишком уж реалистично. Например:

«Cake-ify it» — превратит всё в торт.

«Decapitate it» — обезглавит кого угодно. Тут лучше добавлять картинку, на которой есть что-то с головой. Человек, животное или робот. Если добавить изображение телевизора или стула, то нейросеть запутается.

«Crush it» — внушительный пресс раздавит объект на фото. Обладает терапевтическим эффектом.

«Explode it» — если нужно что-то взорвать в замедленной съёмке.

Есть два способа. Первый — составить запрос и подождать результат. Второй — взять за основу картинку, если нужно, чтобы Pika опиралась на референс.

Первый способ

Составляем максимально подробный промпт. Уточняем главные детали, не используем сложные речевые обороты. Pika здорово понимает профессиональные термины операторов, поэтому стоит добавить подробности про ракурс и стиль съёмки.

Промпт: «FPV shot, FPV flying through many Christmas trees, they are lighting up in the magical forest, low angle shot».

(«Вид от первого лица, дрон летит среди множества рождественских ёлок, огни на деревьях горят, магический лес, низкий угол съёмки».)

В правом нижнем углу — меню расширенных настроек.

Здесь можно выбрать соотношение сторон будущего ролика («Aspect ratio»). Есть 16:9, 9:16, 1:1, 5:2, 4:5, 4:3.
«Negative prompt» — в этом поле указывают детали, которых на видео быть не должно. Например, при генерации котёнка нейросеть вечно добавляет в кадр клубок, а он не нужен. Тогда в основном промпте описываем котёнка, а в негативном добавляем слово «клубок».

«Seed» — это числовой показатель, который есть у каждого сгенерированного ролика. Допустим, всё в видео устраивает, но нужно изменить соотношение сторон или немного поправить промпт. Тогда копируем seed, правим настройки и запускаем генерацию повторно. Общий стиль первого видео сохранится.

Второй способ

Для чистоты эксперимента оставим тот же промпт, но добавим к нему картинку-референс. Для этого под строкой для ввода промпта нажимаем на «Image» и прикрепляем нужный файл.

Результат с референсом оказался не таким интересным. Промпт нейросеть просто проигнорировала, только «оживила» картинку.

Стандартный тариф стоит от $8 в месяц. Пользователь получает каждый раз 700 кредитов — это внутренняя валюта, которую списывают за генерацию видео. Одно видео стоит 15 кредитов.

Есть и более продвинутые тарифы, которые позволяют скачивать ролики без водяного знака. Также обладатели подписок Pro и Unlimited смогут использовать сгенерированные видео в коммерческих целях.

Бесплатная версия подписки тоже есть, всем зарегистрированным пользователям начисляют по 150 кредитов ежемесячно. Но потратить их в один день нельзя. Нейросеть оповестила о выходе за пределы лимита после первой же генерации.

Оплатить подписку российской картой не получится. С этим помогут сервисы-посредники.

С эффектами нейросеть справилась лучше всего. Плавить, сдувать, поднимать в воздух предметы она действительно умеет. Почти во всех примерах сохранилась подвижная тень, капли воды естественным образом стирались или испарялись.

Хуже всего сработал нашумевший эффект с тортом. По ходу написания статьи сгенерировалось несколько провальных роликов:

Скорее всего, пример с кедами не подошёл, потому что на картинке появился второй предмет. Это тоже стоит учитывать при генерации.

По времени: все ролики выше генерировались от трёх до пяти минут. Для видео по текстовому запросу это стандартное время обработки.

Вы пробовали генерировать видео и «оживлять» картинки через нейросети? Какими сервисами пользуетесь? Покажите свои лучшие работы в комментариях!