Доступный дипфейк: что интересного в сервисе для замены лиц Reface из Украины, который взлетел в рейтингах приложений

У приложения более 20 млн установок, и его разработчики планируют сделать так, чтобы технология дипфейка стала доступнее для создателей творческого контента.

Пример работы алгоритма RefaceAI YouTube-канал Reface App

В 2019 году украинская компания Neocortext (нынешняя RefaceAI) выпустила мобильное приложение Doublicat (теперь Reface), с помощью которого пользователь может заменить лицо на гифке на своё. Спустя полгода приложение уже меняло лица на видео, а к августу количество его установок перешло за 20 млн, рассказал vc.ru представитель сервиса.

Согласно данным аналитического сервиса App Annie на 11 августа, Reface входит в десятку самых популярных приложений на iOS в 13 странах, а на Android — в 19.

Как с сервисом взаимодействует пользователь

Чтобы вставить своё лицо в гифку или видео, пользователь фотографируется в приложении и выбирает шаблон, например фрагмент из фильма. После этого алгоритм за несколько секунд меняет в нём внешность. Результат можно тут же скачать или поделиться им в соцсетях.

Что происходит «внутри» приложения

Обычно при создании дипфейка много времени уходит на обучение нейросети. При этом под каждое лицо нужно тренировать отдельную сеть.

Однако RefaceAI создала универсальную нейросеть для замены любых человеческих лиц, благодаря которой дипфейк получается за секунды. Разработчики обучили сеть на миллионах изображений из открытых библиотек (названия компания не раскрывает), поэтому она может менять лица и на фотографиях, и на видео.

Получив фото пользователя, сеть «переводит» его в face embeddings — анонимизированный набор чисел. По нему машина определяет черты лица и перекладывает их на шаблон.

Дипфейк получается реалистичнее благодаря машинному обучению, включая нейросеть вида GAN — её особенность в том, что в неё входят две сети, которые друг друга обучают. В случае с Reface они, к примеру, «подгоняют» цвет лица пользователя под освещение оригинальных ролика или картинки.

История приложения

Компанию RefaceAI, выпустившую Reface, в 2011 году основали:

  • Роман Могильный — генеральный директор.
  • Олесь Петрив — технический директор.
  • Ярослав Бойко — операционный директор.
Доступный дипфейк: что интересного в сервисе для замены лиц Reface из Украины, который взлетел в рейтингах приложений

До приложения с подменой лиц предприниматели семь лет занимались различными проектами: разрабатывали сайты, сотрудничали со студиями постпродакшена для голливудских фильмов, где нужны были технологии машинного обучения. Например, конвертировали видео из 2D- в 3D-формат.

В 2018 году в компании появилась идея создать приложение, которое будет заменять лица на фотографиях, рассказали сооснователи в интервью YouTube-каналу Fedoriv Vlog. В то время в RefaceAI работали шесть человек.

В марте 2019-го Илон Маск опубликовал в Twitter фотографии со своим лицом вместо лица Дуэйна Джонсона. На изображении была вотермарка Reflect. За счёт этой публикации трафик приложения вырос в десятки раз, заметили предприниматели.

«Да, я качаюсь немного»

К сентябрю сооснователи поняли, что просто менять лица на фотографиях недостаточно. В то время к команде присоединился менеджер по продукту Иван Алцибеев. Он предложит переключиться на гифки. Замысел превратился в приложение Doublicat. Его представили на Product Hunt в январе 2020-го.

По словам Могильного, Петрива и Бойко, Doublicat получило около 600 упоминаний в СМИ, в том числе в Forbes и Mashable.

Спустя полгода компания добавила в приложение замену лица на видео и переименовала Doublicat в Reface. С новой функцией популярность сервиса выросла, свои видео опубликовали Бритни Спирс, Snoop Dogg и другие знаменитости.

Сейчас у Reface 20 млн установок, их количество продолжает расти. Насколько быстро, компания не уточняет. Её представитель добавила, что контентом, созданным в приложении, делятся 65% пользователей.

Базовая версия Reface бесплатная. Компания получает доход от рекламы и платной подписки, где можно отключить вотермарку: 199 рублей за неделю, 299 рублей за месяц и 1990 рублей за год. Общую выручку от сервиса компания не раскрывает.

Для замены лиц на фотографиях разработчики используют изображения с открытыми лицензиями, а для гифок сотрудничают с площадками вроде Tenor.

В случае с видео компания придерживается советов юристов:

— Контент попадает под понятие fair use (добросовестное использование) в американском авторском праве, поэтому не требует лицензирования.

— Ограничивает длину роликов, их качество и остальное содержимое.

Если правообладатель захочет исключить свои материалы из приложения, Reface удалит их.

Авторские права

Что дальше

В интервью Fedoriv Vlog Могильный, Петрив и Бойко объяснили, что популярность подобных приложений обычно недолгая, поэтому они используют механики для удержания пользователей.

По мнению предпринимателей, Reface будет двигать вперёд не только появление нового контента, но и его локализация — чтобы пользователь мог вставить своё лицо в клип с популярной в стране звездой.

С 2018 года RefaceAI выросла до 40 сотрудников. Сейчас она ведёт закрытое бета-тестирование веб-платформы Reface Studio. С её помощью создатели развлекательного контента смогут вставлять лица в любые видео. В будущем компания планирует заменять и тела.

По задумке основателей, новый сервис будет работать и в b2b-сегменте: он пригодится креативным агентствам, кинопроизводствам и разработчикам компьютерных игр.

С такой технологией актёры смогут продавать свою внешность для съёмок в рекламе, зритель — смотреть хорроры или мелодрамы со своим участием.

Одна из проблем, с которой может столкнуться Reface Studio, — использование сервиса для создания ложных новостей и замены лиц известных людей. Чтобы избежать возможного вреда для общества, разработчики применят два подхода:

  1. Нельзя воспользоваться сервисом анонимно.
  2. На видео, созданном в «студии», будет невидимая глазу метка, что проект создан с помощью Reface Studio.
2727
13 комментариев

Комментарий недоступен

7
Ответить

"С такой технологией актёры смогут продавать свою внешность для съёмок в рекламе, зритель — смотреть хорроры или мелодрамы со своим участием"

да-да...но мы то с вами ЗНАЕМ...

2
Ответить

Очень крутое приложение. Подписался пробно на месяц. Но есть дикий косяк. Почему третья вкладка(это там где есть возможность загрузить свою гифку) не работает на iOS?

1
Ответить

Спасибо за коммент, мы знаем об этом баге, уже исправляем :) 

1
Ответить

клевая приложуха)

1
Ответить

"...актёры смогут продавать свою внешность для съёмок, зритель — смотреть хорроры или мелодрамы со своим участием." - что делать тем, кто и в зеркале не особо любит себя наблюдать? Не говоря уже о хоррорах и мелодрамах со своим участием. :D

1
Ответить

боже, когда я подставила в этом приложении свой фейс на лицо Скалы, я хотела просто это скорее развидеть)

Ответить