Как мы сделали дипфейк, после которого Собянин отменил самоизоляцию и пропуска

Опоздать с видео на два часа и сотворить чудо.

Мы — команда ML-инженеров, которая занимается разработкой генеративных нейронных сетей в области создания видео. Когда не-специалисты просят объяснить, я отвечаю коротко — пилим дипфейки. Год назад на старте проекта мы договорились с кофаундерами о том, что фокусируем свои усилия на создании бизнес-решения для персонализации контента и не станем размениваться на Youtube-фан. Мы сделали пилоты со швейцарским тревел-гигантом MSC Cruises и топовым немецким автоконцерном, спроектировали юз кейс с банком №1 в России и начали производство первого дипфейк-сериала в мире, но из-за соглашений о конфиденциальности не могли рассказывать о своих достижениях.

После ролика, в котором Маск поёт "Трава у дома", наше терпение лопнуло. И мы решили показать, что умеем.

Наше отличие от 99% дипфейк-авторов в том, что мы не используем оупенсорсные решения. Наша модель "трансфера" лиц на видео — это симбиоз собственных AI-наработок по фейс трекингу, генерации и постпродакшну (на этапе трекинга есть еще пул алгоритмов, которые помогают точнее и быстрее работать с лишними позами и "выравнивать" направление взгляда).

Мы решили начать с резонансной темы — цифровых пропусков и расписания прогулок. Как и многие из вас, наша команда пересматривала франшизу про юного волшебника из школы магии и чародейства. Наш любимый эпизод — мрачный гимн перехода от детства к отрочеству, снятый Альфонсо Куароном. Сцена, в которой профессор Макгонагалл не отпускает Гарри в Хогсмид вместе с друзьями оказалась в десятку: Поттер остается в Хогвартсе, потому что у него нет разрешения от злых опекунов. Бинго! Через час наши нейросети начали обучение на нужных данных.

Сегодня утром мы опубликовали нашу работу. Через пару часов после этого Сергей Семенович отменил самоизоляцию и пропуски.

Совпадение? Не думаем.

#deepfake #youtube