Как с помощью нейросети перевести видео на любой язык?

Из этой статьи вы узнаете, как быстро с помощью нейросети перевести видео с экспертом на любой язык. А главное, чтобы не просто был звук, а человек своими губами проговаривал на нужном вам языке.

👋 Привет, меня зовут Гари Азат — я эксперт по цифровым AI-аватарам. Недавно ко мне обратился продюсер по масштабированию онлайн-школ с вопросом: сложно ли перевести лекции одного из его клиентов с русского на английский язык?

Для меня эта задача не составляет большого труда, поэтому раньше я особо не поднимал эту тему. Ведь зачем говорить об очевидных вещах? Однако то, что очевидно нам, может быть совсем неясно для других. Поэтому далее я подробно расскажу, как перевести видео со спикером с любого языка на любой всего за 5 минут.

Перейдём сразу к итогу работы. Разберём одну из видеолекций в курсе эксперта.

ДО: Видеофайл до загрузки в нейросеть HeyGen

ПОСЛЕ: Видеофайл после обработки нейросетью HeyGen

⚡ Краткое резюме:

Да, есть свои шероховатости и проблемные моменты, о которых мы подробнее поговорим дальше. Но в принципе, за свои деньги это отличное решение задачи, если вам нужно быстро перевести видеолекции на разные языки, например, для тестирования на западном рынке.

1 Минус. Хронометраж:

После того как мы прогнали видео через нейросеть, версия на английском стала короче на 17 секунд по сравнению с оригинальной на русском языке. Обратите внимание на два видео, которые вы смотрели выше. До обработки HeyGen продолжительность видео составляла 3 минуты 18 секунд, а после — 3 минуты 01 секунда.

Это мне напомнило, как в юности я закидывал шерстяной свитер в стиралку и потом ходил в свитере с короткими рукавами и поясом у пупка, растягивая его вниз. Я также показал вам это на таймлайне, чтобы было нагляднее.

С чем это связано? Скорее всего, с тем, что английский язык по своей структуре проще и содержит меньше букв в словах. Поэтому применяемый липсинг "отрабатывает" быстрее, и для этого требуется меньшее количество видеоданных с экспертом. Поскольку количество кадров сокращается и ускоряется, общая продолжительность видео уменьшается. Если у вас есть другое мнение, буду рад услышать его в комментариях.

2 Минус. Ракурс в профиль.

Те, кто уже знают, как правильно создавать матрицу, возможно, видели мою инструкцию на VC о создании видеоматрицы для AI-аватара. Там я объяснял, что при съёмке важно, чтобы уголки рта всегда были в кадре. Но в данном случае я работал уже с файлом, который был снят и смонтирован в ролик. Выбирать мне не приходилось.

Обратите внимание, что когда эксперт поворачивала голову в сторону, то есть в профиль, нейросеть начинала выдавать ошибки и даже пытаться что-то дорисовывать. Ощущение было, будто у неё на время появлялся флюс.

3 Минус. Перекрытие лица.

Сейчас многие блогеры, когда снимают свои горизонтальные и вертикальные ролики, чтобы доказать аудитории, что это действительно они, а не нейросеть, касаются рукой носа во время говорения. Зачем они это делают? Это связано с тем, что ПОКА нейросети не научились одновременно озвучивать человека и генерировать видео с перекрывающим лицо любым предметом.

В одном из моментов наш эксперт перекрывает лицо рукой с телефоном, и нейросеть показывает своё несовершенство:

Это не критично и может быть исправлено на этапе монтажа, перекрыв нужные кадры. Однако вы должны учитывать эти нюансы в работе и, естественно, не оставлять их без внимания.

4 Минус. Голосовая тональность и липсинг

Если внимательно послушать оригинал и итоговый файл, можно заметить, что у голоса исчезли низкие частоты, а липсинк местами отстаёт. Проблему с голосом можно решить, и в следующих статьях я покажу, как можно улучшить голос так, чтобы его не отличила даже ваша родная мать. Что касается липсинка, то если смотреть этот файл на большом экране монитора, отставание заметно. Однако при просмотре с мобильного устройства это практически незаметно. Технология липсинка развивается с каждым днём, так что в этом плане можно не беспокоиться. К тому же, мы говорим не о голливудской картинке для блокбастера, а о том, как быстро создать своего цифрового двойника в пару кликов.

5. Минус. Титры:

К сожалению, пока в данной нейросети нет возможности переводить титры (моушн-дизайн), уже присутствующие в видео. Но, по заявлениям команды разработчиков, эта технология уже применяется в их лаборатории, и я думаю, что она скоро будет доступна для широкого круга пользователей.

Идём по шагам.

1. Регистрация

Регистрируемся в нейросети HeyGen. Тут всё просто. Можно без VPN.

2. Загружаем видео

Открываем вкладку Video Translation и загружаем наш видеофайл. Можно просто вставить ссылку на видео с YouTube через URL или загрузить файл с компьютера. На моём скриншоте открыта вкладка загрузки с компьютера:

3. Выбираем вариант перевода

Выбираем прямой перевод видео. Но второй (нижний) вариант у вас вряд ли получится выбрать, так как это доступно только для обладателей максимального тарифа “Enterprise” (Предприятие).

Обладая этим тарифом, у вас появляется возможность вносить редактирование в контекст того, что человек/селебрити произносит. Понимаете, какие возможности открываются? 😊

4. Делаем основные настройки.

Далее выставляете нужные вам настройки. По сути, тут всё интуитивно понятно, но я всё же проговорю каждую настройку отдельно:

А - Выбираете язык, на который хотите перевести.

Б - Выбираете диалект языка, на котором хотите звучать (круто, да?!).

В - Указываете, на каком языке оригинал видео.

Г - Указываете количество спикеров в кадре.

Д - Тут без вариантов.

Ж - Тут ничего не отмечаете! Если поставите галочку, то аватар-эксперт будет говорить на нужном вам языке БЕЗ липсинга. А вам ведь этого не надо?

5. Рендрим видео.

Всё, дальше остаётся нажать только кнопку Submit. В зависимости от длины видео, столько с вас снимут кредитов. В данном случае моё оригинальное видео длилось 3 минуты 18 секунд. HeyGen округлил до 3 минут 30 секунд и снял с меня 3,5 кредита.

Стоимость кредита в HeyGen зависит от вашего тарифа. Они часто обновляют прайс, так что вам лучше проверить актуальную стоимость на текущую дату.

6. Итоговый результат.

Далее вы ждёте, в зависимости от хронометража загружаемого вами материала. Мой файл длиной 3,5 минуты он обрабатывал в течение 10 минут.

Теперь вам остаётся просто скачать ваш видеофайл на компьютер из личного кабинета.

Объём данных:

В заключение хочу сказать, что это отличный инструмент для распространения медийности и заработка. Благодаря этому инструменту эксперты могут предлагать и продавать свои обучающие курсы практически любой аудитории на планете. Конечно, здесь есть свои подводные камни, но для проверки рынка этого инструмента вполне достаточно.

Кроме того, это прекрасный инструмент для рилсмейкеров, монтажёров и продюсеров. Представьте, сколько сейчас существует коучей и экспертов с отснятыми рилсами и курсами. Вы можете рассчитать свою стоимость рабочего часа, учесть затраты на нейросеть и сформировать простое коммерческое предложение. Затем начните обращаться к ним через социальные сети с предложением перевести их контент на нужный им язык.

Если вы хотите научиться профессионально создавать цифровых двойников и зарабатывать на этом, то я подготовил для вас три бесплатных урока. Переходите по этой ссылке и начинайте обучение.

А в своём телеграм-канале я делюсь ещё большим количеством тонкостей по созданию и заработку на цифровых аватарах.