Сравнение замены лица в нейросетях InsightFaceSwap vs SeaArt.AI

Что делаем: сравниваем две нейронки, которые вставляют ваше лицо на любой арт/фотографию.

Для чего это нужно: достаточно популярное направление - фотосессии от нейросети, не выходя из дома. Можно получить свои фотографии хоть в средневековом королевстве, хоть на дне морском, хоть в космосе. Можно поставить на аватарку, использовать в личных соцсетях, заказать кому-то в подарок и тд и тп.

Сравнение замены лица в нейросетях InsightFaceSwap vs SeaArt.AI

Как работаем: все исходные портреты сгенерированы через Midjourney и далее уже применяются сравниваемые сервисы. Я беру простые жизненные портреты, как будто обычная прогулка по городу/лесу. Они максимально приближены ко мне настоящей, так как это достаточно сложная задача - попасть в похожесть/узнаваемость себя или заказчика. Важны и форма лица, и выражение, и прическа. Разумеется, зависит от ТЗ - возможно я захочу посмотреть на себя с длинными красными волосами, но не сегодня.

Немного про сервисы:

Insight Face Swap это бот от Picsi.Ai, которого вы добавляете к себе на сервер Discord вместе с Midjourney:

На сгенерированное в Midjourney изображение через ПКМ можно применить бота, заранее добавив нужное лицо.

Инструкции по этому сервису вполне можно найти в интернетах, но если будут запросы, опубликую свою.

Сервис условно бесплатный - в день дается 50 кредитов. Использование на сгенерированном внутри сервера фото стоит 1 кредит, если загружаете готовое фото извне, то спишет 3 кредита. Можно докупить всяческих плюшек, таких как больше генераций, замена нескольких лиц, улучшенная текстура кожи, но это что-то на богатом, это мы пока не делаем.

SeaArt.AI для меня стала открытием и очень даже достойным. Туториалов по ней не так много при поверхностном поиске. Потихоньку пробую использовать и делюсь результатами.

Замена лица находится в разделе SwiftAI:

Далее необходимо определить, где мы меняем лицо - на фото или видео, выбрать исходник из примеров или загрузить свой и добавить нужное лицо:

Во встроенных примерах в основном азиатские лица.

Стоит одна генерация 3 кредита, а всего их дается 150 на день. Больше плюшек можно также докупить:

Вообще как я поняла, нейронка построена на базе Stable Diffusion и работает на тех же моделях и лорах, при этом не требует сложной установки, высокой производительности и условно бесплатна! (Если не права - жду в комментах) Кажется, такой аттракцион невиданной щедрости продлится недолго, так что успевайте пользоваться. Есть много крутых функций, помимо стандартного text2image.

Собственно сравнение:

Беру и удачные и неудачные примеры - где-то плывет глаз, где-то артефакты на лице. Посмотрим, кто лучше справится.

Подопытный кролик в моем лице - улыбка без зубов (а это важный момент при свапе фейса), глаза светлые, тюнинги отсутствуют. Присутствует родинка, но спойлер - её никто из ИИ не воспроизвел. Вроде бы Fooocus умеет в такие детали, если знаете - поделитесь.

Погнали:

InsightFace добавил больше улыбки с моего фото, но оставил темные глаза. SeaArt осветлила глаза и более серьезна, как портрет модели.

У SeaArt глаза получились чуть посветлее. У InsightFace как будто мягче выражение лица, видимо тоже из-за улыбки.

InsightFace здесь лучше справился с глазами. SeaArt оставила странную волосину на лбу и сильно высветлила глаза.

SeaArt мне здесь не нравится совсем. А вот у InsightFace это моя любимая фотка, стоит на аватарах, многие оценили.

SeaArt достаточно странно высветлила глаза, так что получилась легкая гетерохромия.

Наблюдения:

SeaArt старается соответствовать внешности загруженного лица - цвет глаз, более реалистичные брови, как будто меньше блюра на коже. При этом выражение лица приближено к модели - меньше улыбок и приоткрытого рта.

InsightFace как будто сразу старается сделать портрет покрасивее - блюрит кожу и брови, добавляет художественности что ли. И если на лице явная улыбка, то она передается даже серьезным исходным портретам.

Что лучше?

Для себя пока не выбрала прям наилучший вариант. Думаю сервисы взаимозаменяемы и при нехватке кредитов на одном, можно будет всегда обратиться ко второму. К тому же сервисы активно развиваются, и возможно дальше их возможности станут еще круче.