HeyGen научился переносить живую речь на ИИ-аватар с сохранением интонаций

HeyGen представила Voice STS, технологию Speech-to-Speech, которая переносит голосовое исполнение человека на цифровой аватар.

В отличие от обычного Text-to-Speech, где ИИ озвучивает написанный текст, здесь пользователь сам произносит фразу. Модель сохраняет манеру речи, паузы, акценты на отдельных словах и даже шёпот, передавая всё это аватару.

Например, можно самостоятельно записать эмоциональную рекламную фразу, а затем использовать это исполнение для озвучки цифрового персонажа без необходимости вручную настраивать интонации.

Попробовать можно на платформе HeyGen.