В открытом доступе появилась нейросеть для дубляжа LipDub — она может «заставить» героя видео говорить заданный текст

В 2024 году с её помощью Уилл Смит «заговорил» на португальском в рекламе Nomad.

  • Сервис LipDub AI, которым раньше пользовалось ограниченное число компаний, вышел из режима закрытого тестирования.
  • Нейросеть может переозвучивать видео на 40 языков, включая русский. Можно также загрузить готовый аудиофайл и синхронизировать движение губ персонажа с аудиодорожкой на «любом» языке. Для примера разработчики показали видео на валирийском и языке инопланетян из «Аватара».
Сервис синхронизировал губы спикера и аудиодорожку на вымышленных языках из фильмов. Благодаря клонированию, голос звучит одинаково. Источник: LipDub AI 
  • Также добавили функцию озвучивания заданного текста — до тысячи символов. ИИ скопирует голос спикера и синхронизирует губы с новым аудио. Для клонирования голоса видео должно длиться не менее 30 секунд.
Героиня сериала «Игра в кальмара» произносит текст песни Эминема. Источник: DubCreation
  • В июле 2024 года нейросеть использовали в рекламе бразильского финтех-стартапа для открытия зарубежных счетов Nomad. Они клонировали голос актёра Уилла Смита и сделали дубляж на португальском. Их лозунг — «Мы заставили Уилла Смита говорить по-португальски, и можем заставить ваши деньги говорить по-английски».
Источник: Nomad
  • Сервис обрабатывает видеофайлы длиной до одной минуты в разрешении 1080 р. Для тестирования дают 50 бесплатных кредитов. Перевод видео с синхронизацией губ стоит 10 кредитов, а копирование голоса — 25.
  • Подписка начинается от $149 в месяц (около 14,6 тысяч рублей по курсу ЦБ на 30 января 2025 года).
2323
1313
33
26 комментариев

Подписка начинается от $149 в месяц (около 14,6 тысяч по курсу ЦБ на 30 января 2025 года).

19

2-3 дня работы в макдаке Загнивающей

6

Такая хрень должна быть в ютубе по дефолту хотя бы для подписчиков premium. Гугл упускает рынок.

10

Гагантские затраты мощностей. Эта подписка будет огромный ценник стоить. В Яндексе подобное есть, только без обработки видео, и то, ролик ждать приходится по часу-два, пока его озвучат просто машинным переводом.

1

Новости ИИ из России:
- Сервис ИИ от Яндекс не может прочитать название книги
- Греф показал Путину IVR и сказал, что это ИИ
- МТС закрыл свои ИИ проекты

6

а как же Нейрожириновский?

2

Кстати, Трент, Александр и Арнольд - это один и тот же человек

4
Раскрывать всегда
Hailuo AI: как бесплатно генерировать видео, оживлять фотографии и клонировать голос

Подробный гайд по одной китайской нейросети, которая заменит их всех (почти).

1818
1212
11
Hailuo AI: скопируйте любой голос за 10 секунд и озвучивайте на русском!
Hailuo AI: скопируйте любой голос за 10 секунд и озвучивайте на русском!
22
Метод Кирпича в маркетинге: основательность, которая строит успех годами

В мире маркетинга, где тренды часто меняются, а стратегии могут быть сиюминутными, метод Кирпича выделяется своей устойчивостью и долгосрочной ориентацией. Это подход, который напоминает строительство здания: кирпич за кирпичом, шаг за шагом. Но почему он получил такое название, и кто такие «кирпичные люди»? Давайте разбираться.

Метод Кирпича в маркетинге: основательность, которая строит успех годами
33
22
11
В сервисе Hailuo AI появилась функция генерации коротких роликов из фотографии — можно настроить декорации, одежду и действия персонажа

Она доступна для бесплатного тестирования.

6161
1111
На словах ты Лев Толстой, а на деле - дед в красном худи
Нейросеть ElevenLabs для озвучки текста: обзор и инструкция для новичков

Сервис сделает дубляж, озвучит аудиокнигу и сгенерирует подкаст из текста.

Нейросеть ElevenLabs для озвучки текста: обзор и инструкция для новичков
1515
33
Генератор видео Wan от Alibaba теперь можно протестировать в ИИ-сервисе Krea

Также добавили Veo от Google. Есть ограничения на число бесплатных генераций в день.

66
Тур в Грузию на майские: комфорт, красота и гастрономия-2025
Туры в Грузию из Москвы – удобный формат для незабываемого отдыха.
Нейросеть от Captions для генерации видео с людьми по записи голоса — первые примеры из соцсетей

Пока модель Mirage доступна в закрытой бета-версии.

55
Онлайн-кинотеатр Amazon Prime Video начал тестировать ИИ-дубляж для некоторых фильмов

Netflix тоже использует нейросети, но для других задач.

Настройки дубляжа в Amazon Prime Video с возможностью выбрать ИИ-версию. Источник: Amazon
99
33
реклама
разместить
Создаём аудио за минуты: новая нейросеть Dialog 1.0 меняет правила игры
Создаём аудио за минуты: новая нейросеть Dialog 1.0 меняет правила игры
Революция в мире ИИ-видео: Mirage создаёт виртуальных людей, которые выглядят как настоящие

💡 Будущее уже здесь: виртуальные актёры без границ

11
Озвучка диалогов с помощью нейросети FishSpeech
Озвучка диалогов с помощью нейросети FishSpeech
44