Как создать «живого» ИИ-персонажа и сохранить его лицо стабильным в любых сценах
Две карты одной героини, простая и продвинутая, одни и те же восемь сцен на каждую и промпты, которые можно копировать. В конце героиня оживает в коротком ролике.
Героиню для рубрики придумали, лицо утвердили, первый пост вышел. Через неделю нужен второй, и нейросеть приносит её двоюродную сестру: скулы похожи, а чёлка уже другая и глаза чужие. К пятой перегенерации закрадывается подозрение, что сестёр у неё много.
В разборе Nano Banana 2.1 пишут, что даже Google признаёт: лица в серии «всё же немного плывут».
Лицо держит карта персонажа: картинка героини, которую загружают вместе с текстом каждой новой сцены.
Карта работает, только если идёт к каждой генерации. Я пользуюсь SYNTX.AI: на сайте готовую карту не нужно скачивать и загружать заново, её прикладывают референсом, то есть выбирают из своих прошлых генераций, и сразу заказывают сцену. Промокод SYNTXVC, скидка 15%: веб-версия и Telegram-бот.
Покажу, как собрать карту и сохранить по ней лицо персонажа в разных сценах. Заодно я решила проверить, какая карта справится лучше. Карт будет две: на простой лицо одно, на продвинутой героиня со всех сторон и с десятью выражениями. По каждой я сделала одни и те же восемь сцен в Nano Banana 2.1.
Героиня, на которой я всё проверяла
Персонажа можно взять своего. Или даже себя. Я начала с нуля: выдуманная девушка около 25 лет, кадр по колено, чтобы на одном снимке были и лицо, и одежда, и фигура.
Промпт героини:
Серые глаза из промпта модель сделала то ли светло карими, то ли тёмно серыми. Такое правится повторными генерациями, но мне она и так понравилась. Поэтому менять я не стала: пусть дальше держится именно это лицо.
Простая карта: одно лицо крупно, на фигурах оно размыто
Есть гипотеза, что если на карте много лиц, модель может запутаться и собрать из них чужое. Поэтому на простой карте чёткое лицо только одно, на крупном портрете слева. Справа героиня в полный рост спереди и сзади, и на фигуре спереди лицо размыто. Фигуры нужны ради причёски, роста и одежды, а лицо модель берёт только с портрета.
Промпт простой карты (портрет героини референсом):
Карта вышла с первого прогона: серое поле, резкое лицо слева, на фигуре спереди вместо лица тёплое пятно, сзади видна короткая стрижка. Проверяла, не попадёт ли размытое лицо с карты в сцены. Не попало: ни в одной из восьми героиня не вышла с мутным лицом.
Продвинутая карта: героиня со всех сторон и с подписями
Вторая карта устроена наоборот, героиня на ней почти со всех сторон. Промпт просит полный рост в пяти ракурсах, крупные планы лица, десять выражений, глаза, нос и руки отдельно, причёску, палитру и заметки о приметах. Промпт длинный, зато героиню он берёт с приложенного портрета, и копировать его можно без правок.
Промпт продвинутой карты (тот же портре референсом):
Он слишком длинный и не влезает сюда. Загрузила его в гуглодоки.
Стоит признать, что всё модель не собрала.
Фигур в полный рост вышло 4 из 5. Лиц промпт просит 22 (5 крупных планов, 10 выражений, 7 ракурсов), а вышло 9. Деталей просит 14, а вышло 8. Подписи русские и читаются (кроме одной ошибки), палитра на месте.
Для целей эксперимента этого достаточно. Карта вышла продвинутая, хоть и не полная. Возможно, промпту надо больше попыток... или стоит попробовать его в других моделях.
Главное, корректировать ошибки в лице и образе персонажа, потому что иначе они перенесутся на все остальные сцены.
Как подать карту в сцену, чтобы лицо не уехало
Сцена собирается так: карта первой картинкой, текст сцены и соотношение сторон кадра. Каждый промпт ниже держится на четырёх правилах:
- каждая сцена - отдельный запрос с картой, прошлых кадров модель не помнит;
- одной строки «Формат 9:16» в промпте мало: выставьте 9:16 и в настройках справа от поля промпта, иначе кадр выйдет в формате карты;
- лицо описывайте теми же словами, что в первом промпте героини: брови, веснушки, волосы, чёлка;
- новую одежду описывайте целиком. Для одежды с карты хватит строки «одежда тоже с карты».
Базовая сцена: взгляд через плечо, новая одежда
Слева сцена по простой карте, в центре по продвинутой. Справа три лица крупно: исходное, по простой карте и по продвинутой. Так устроены все коллажи ниже.
Промпт:
Строка «Одежда другая, не с карты» здесь не для красоты. С карты модель охотно забирает всё, что видит, вплоть до обуви. В бальном зале (он ниже) у героини по простой карте светлые кеды, а по продвинутой чёрные туфли, ровно как на картах. Поэтому новую одежду я описывала целиком и отдельно писала, что она не с карты. Оливковое пальто и белая футболка вышли по обеим картам, водолазка с карты в кадре не появилась.
Восемь сцен на двух картах: лицо держалось везде
Сцены разные по плану, свету и одежде: крупные портреты, селфи на айфон, вспышка в забегаловке, свечи и дальний план на солончаке. В половине сцен героиня в одежде с карты, в другой половине в новой: так видно, не переносит ли модель с карты то, чего не просили, например обувь. Текст сцены между двумя картами я не меняла.
Лицо узнаётся во всех восьми сценах по обеим картам, одежда вышла как задумано. Различия нашлись в мелочах и только у продвинутой карты: цвет глаз, длина волос, угол камеры.
Крупные портреты: продвинутая карта темнит глаза
На крупном плане карте спрятаться негде. На продвинутой карте глаза подписаны «тёмно-карие», а в промптах крупных планов цвета глаз нет. Похоже, модель взяла цвет из подписи. По простой карте цвет ближе к исходному портрету.
Промпт:
Со сценой на подушке обе карты справились:
Промпт:
В сцене «за книгой» (второй коллаж ниже) героиня по обеим картам смотрит прямо в камеру, а не поднимает взгляд от страницы.
Промпт:
Кадры на айфон: смаз и вспышка лицу не помешали
Эти две сцены похожи на то, что снимают для ленты, и одежда в обеих новая. Селфи я переделывала: в первый раз смаз от движения вышел слабым, и я попросила сильнее.
Промпт:
В сцене «лапша со вспышкой» вспышка лицо тоже не сбила: веснушки, брови и чёлка узнаются по обеим картам.
Промпт:
Журнальная съёмка: с карты переходят даже туфли
В бальном зале героиня лежит на паркете в круге свечей, в одежде с карты. Здесь те самые кеды и туфли. А вид строго сверху получился только по простой карте: на продвинутой камера оказалась не точно над героиней.
Промпт:
На солончаке героиня стоит вдали в алом платье, фигура занимает около трети кадра, но лицо читается на обеих картах.
Промпт:
Обе карты рабочие: если одна подвела, берите другую
Победителя я так и не нашла. Лицо держат обе карты.
Я думала, что много лиц на продвинутой карте собьёт модель. Не сбило: лицо не поплыло ни в одной сцене, а промахи ушли в мелочи, в цвет глаз и длину волос.
Отсюда простой практический вывод:
Если одна карта плохо держит лицо вашего героя, сделайте другую: рабочие обе, и каждая собирается одним запросом. А если важен цвет глаз, проверьте подписи на продвинутой карте до первой сцены.
Бонус: героиня оживает на закатном пляже
Карту можно отдать и видеомодели. Героиня в ролике смотрит в камеру, улыбается, манит пальцем и убегает к океану. В видео простая карта удержала героиню лучше продвинутой. @image1 в начале промпта это ссылка на первую приложенную картинку, то есть на карту.
Kling 4.0 удержал персонажа с обеих карт. Различия минимальны. Он тоже не смог определить победителя.
Промпт:
Поэтому я решил провести ещё один тест в Veo Omni Flash 1.1. И он дал более контрастный результат.
Как видно, в Veo Omni Flash лучше сработала простая карта. Поэтому подбирайте карту ситуативно - никогда не знаешь какая сработает лучше в той или иной ситуации.
Мне правда интересно, как обе поведут себя на другом лице: если попробуете их на своём персонаже, напишите в комментариях, какая держала лицо лучше.
Я пользуюсь SYNTX.AI: ролик по карте делается там же, где сама карта. Промокод SYNTXVC, скидка 15%: веб-версия и Telegram-бот.