На GitHub появилась ИИ-модель с открытым исходным кодом Loopy, которая позволяет генерировать реалистичные видео с говорящими или поющими персонажами (больше примеров - в посте)

Вы когда-нибудь замечали, что цифровые персонажи иногда делают неестественные движения при разговоре?

Loopy - это диффузионная модель с открытым исходным кодом, призванная решить эту проблему, используя только аудио для создания видео с говорящими или поющими персонажами.

В отличие от традиционных моделей, Loopy фиксирует длительное движение, благодаря чему получается более плавная и естественная анимация.

Она улучшает мимику и аудиовизуальную синхронизацию, обеспечивая более реалистичное восприятие цифровых персонажей и виртуальных взаимодействий.

Я заметил, что эта модель создает вполне реалистичные видео, так как движения головы, выражения лица и движения губ выглядят максимально естественно.

А как вам?

#генерациявидео