ElevenLabs выпустил Dubbing v2 - ИИ-дубляж видео на 90 языков с сохранением голоса и эмоций

ElevenLabs выкатил новую версию своей системы дубляжа - Dubbing v2. Поддержка 90 с лишним языков, и главное - это не просто перевод текста и озвучка чужим голосом. Новая модель работает с самой звуковой дорожкой, сохраняет тон оригинала, эмоции, ритм и интонации спикера. Звучит как небольшой технический апдейт, но на деле это меняет правила игры для ютуберов, образовательных каналов, бизнеса и всех, кому нужен дубляж без студии и без актёров озвучки. Разбираем что это такое, чем отличается от старого подхода и как попробовать.

Классическая схема ИИ-дубляжа выглядит так - модель сначала превращает речь в текст, потом переводит этот текст на нужный язык, потом озвучивает синтетическим голосом. На выходе - перевод без эмоций, плоский голос, который иногда не совпадает по таймингу с движением губ в кадре. Зритель сразу слышит, что это машинная озвучка.

Dubbing v2 устроен иначе. Модель работает не с транскриптом, а напрямую с самой звуковой дорожкой. Анализирует не только что говорит спикер, но и как - где он повышает тон, где делает паузы, где смеётся, где злится, где задумывается. Эти эмоциональные маркеры переносятся в перевод. Голос на новом языке звучит так, как звучал бы оригинал, если бы спикер действительно говорил на этом языке.

Второе важное изменение - синхронизация под губы. Модель учитывает длительность фраз оригинала и подгоняет переведённый текст так, чтобы он попадал в кадр. Не идеально (особенно в крупных планах), но заметно лучше чем у старых систем, где озвучка либо отставала, либо обрывалась посреди фразы.

Третье - голос. Старые системы дублировали в стандартный голос из библиотеки. Dubbing v2 может клонировать тембр и характер оригинального спикера и говорить новым языком его же голосом. Не голосом актёра озвучки, а голосом того же человека что был в кадре.

Заявлено 90 с лишним языков. Английский, испанский, французский, немецкий, итальянский, португальский, русский, китайский, японский, корейский, арабский, хинди - все крупные языки поддерживаются с хорошим качеством. По мере отдаления от мейнстрима качество падает - редкие диалекты или языки с малой обучающей базой пока хуже.

По русскому языку качество в первых тестах сильно лучше, чем было в v1. Меньше "иностранного" акцента, более естественная интонация, корректное ударение в большинстве слов. Не идеально - модель всё ещё иногда путается в сложных грамматических конструкциях и в названиях людей и брендов, но это уже инструмент, которым можно работать.

Эмоциональный перенос работает лучше всего в средних эмоциональных регистрах - спокойная речь, лёгкое возбуждение, юмор. На крайностях (крик, плач, шёпот) Dubbing v2 всё ещё спотыкается и иногда сглаживает эмоции. Но для подавляющего большинства видео - блоги, образовательный контент, новости, презентации - этого достаточно.

Самый очевидный кейс - ютуб и социальные сети. Любой блогер, который записывает видео на одном языке, может одним кликом получить версии для рынков других стран. Раньше для этого нанимали актёров озвучки, монтажёров, делали отдельный аудиотрек. Стоило это дорого, делалось долго, и поэтому большинство роликов так и оставались моноязычными.

С Dubbing v2 переозвучка ролика на пять языков занимает минуты и стоит копейки. Канал, у которого было 100 тысяч русскоязычных подписчиков, может за вечер выпустить английскую, испанскую и японскую версии своих лучших роликов и резко увеличить охват. Алгоритмы YouTube такие каналы любят - чем шире география, тем выше показатели.

Второй кейс - образование. Онлайн-курсы, лекции, обучающие видео. У авторов появилась возможность за день локализовать весь курс на десяток языков, не теряя индивидуальности преподавателя. Раньше зарубежные курсы озвучивали другие голоса - теперь Стэнфордский профессор может читать свой курс по русски своим же голосом.

Третий кейс - бизнес. Корпоративные видео, презентации, обучение сотрудников. Компании с международными офисами раньше делали каждое видео заново для каждой страны - дорого, долго, часто получалось разное качество. Сейчас одна запись локализуется автоматически.

Четвёртый кейс - тиктоки и короткие видео. Здесь дубляж особенно ценен - короткое видео живёт несколько секунд внимания, и если зритель не понял язык за первую секунду, ролик уходит в свайп. Локализация на язык аудитории даёт огромный буст по удержанию.

Сложные случаи всё ещё ломаются. Видео где много пересекающихся голосов (интервью, дискуссии, многоголосые подкасты) - Dubbing v2 путается в том кто говорит и иногда смешивает голоса. Для чистого дубляжа нужна одна-две говорящие головы в кадре.

Профессиональная актёрская озвучка - фильмы, сериалы, мультики - пока ИИ не вытесняет. Там важен художественный жест, нюансы интонации, попадание в характер персонажа. Dubbing v2 справляется с информационной передачей, но не с искусством.

Музыка и пение - отдельная история. ElevenLabs делает это в других продуктах, для дубляжа речевые модели пока не подходят. Если в ролике герой запел - этот фрагмент придётся обрабатывать вручную.

И последнее - синхронизация под губы хороша но не идеальна. На крупных планах внимательный зритель заметит, что губы двигаются не совсем синхронно с озвучкой. Для блогерских видео это нормально (там и оригинал часто не идеально синхронизирован), а вот для фильмов и сериалов всё ещё видно разницу с профессиональным липсингом.

Главное - стоимость и скорость локализации контента упали на порядок. То, что раньше требовало целой команды, теперь делается одним кликом. Это сразу затрагивает большие индустрии: студии озвучки, актёры дубляжа, переводчики, монтажёры.

Часть профессий перестанет существовать в текущем виде - дубляж рекламных роликов, корпоративных презентаций, образовательного контента уйдёт в ИИ почти полностью. Останется ниша где нужны эмоция, характер, актёрская работа - художественные фильмы, сериалы, реклама с эмоциональной нагрузкой.

Появится новая ниша - редакторы ИИ-дубляжа. Это не актёры, а специалисты, которые правят машинный перевод и подкручивают эмоциональные акценты там, где модель промахнулась. Грубо говоря, корректор для ИИ. Работа есть, но её гораздо меньше чем было у дубляжной студии.

Для пользователей результат прямой - выбор контента на родном языке резко расширится. Видео которое раньше не имело смысла переводить (узкая ниша, малый просмотровый потенциал) теперь будет доступно на десятке языков просто потому что это ничего не стоит автору.

ElevenLabs Dubbing v2 доступен в сервисе ElevenLabs.io в разделе Dubbing. Регистрация, выбор языка, загрузка видео или ссылка на YouTube - и через несколько минут готовый файл. Бесплатный план есть, лимиты по минутам в месяц, для серьёзной работы нужна подписка.

Голосовые модели ElevenLabs также доступны через нашего бота Cyber AI - можно генерировать речь, клонировать голос, делать озвучку текста без регистрации на основном сайте и без ВПЭН. Сейчас в боте основные модели ElevenLabs работают для генерации речи и звуков - удобно для тех, кому нужна разовая озвучка без подписки.

Dubbing v2 - не очередная "ещё одна нейросеть для перевода видео". Это качественный скачок в технологии - дубляж становится не просто пониманием смысла, а переносом всего звукового образа спикера на другой язык. Голос остаётся тот же, эмоции сохраняются, синхронизация работает.

Для блогеров, преподавателей, бизнеса это огромное окно возможностей - локализация контента стала почти бесплатной. Для индустрии озвучки это серьёзный вызов - большая часть рутинного дубляжа уйдёт в автоматику. А для зрителей - больше доступного контента на родном языке, без задержки и без потерь в качестве.

Больше новостей и разборов по нейросетям каждый день - в нашем канале TG | MAX