Специалисты создали нейросеть для создания поддельных голосов Статьи редакции

Алгоритм умеет имитировать голос говорящего по фрагменту стороннего аудиофайла.

Группа разработчиков создала алгоритм для синтеза текста в речь (text-to-speech; TTS) на основе нейросетевых моделей Tacotron 2 и WaveNet, который умеет создавать голос, имитирующий говорящего по фрагменту стороннего аудиофайла. Результаты работы опубликованы на arxiv.org в июне 2018 года, открытый исходный код размещён на площадке GitHub.

Для работы алгоритма нужно два аудиофайла: один с примером голоса, который необходимо скопировать, и второй с фразой, которую этим голосом нужно произнести. После этого алгоритм почти в реальном времени преобразует голос из второго аудиофайла, делая его похожим на голос говорящего из первого файла.

Пример работы алгоритма
0
51 комментарий
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Кроко

627 форков, однако...

Ответить
Развернуть ветку
4 комментария
Алексей Свищев

Хорошая система биометрии снабжается системой антиспуфинга. Синтез - один из видов атак, причем не самый сложный (даже самый продвинутый). Просто не пройдет. К тому же качество синтеза в предложенной системе не ахти. Они просто мультиспикерную TTS обучили, обусловленную на эмбеддинги спикеров (векторы признаков голоса) и новых спикеров добавляют, получаю новый эмбеддинг из образца. Это плохо работает. Есть ситемы voice conversion, они лучше работают. Но там не синтез, а конверсия конкретной записи с голосом одного диктора в такую же запись с голосом другого. Хотя ничего не мешает сначала синтезировать одним голосом, а потом провести конверсию в другой (образец).

Ответить
Развернуть ветку
1 комментарий
Руслан

Возможное применение в дубляже фильмов. Берем оригинальную дорожку, накладываем на дубляж. Получаем дубляж с голосом оригинального актера.

Ответить
Развернуть ветку
Роман Романов

+другая нейросеть подправляет липсинк, чтобы локализаторам дать полную свободу.

Ответить
Развернуть ветку
Макс Мухарёв

Можно и просто генерировать хорошие голоса, а актеров полностью создавать с нуля. Это огромный плюс для кинематографа будет.

Ответить
Развернуть ветку
1 комментарий
Denis Kiselev

Прекрасно, я считаю! Если будет возможно - это же будет очень круто! Решится проблема хейта дубляжей и желания слушать с оригинальным голосом актера

Ответить
Развернуть ветку
Anton Matrosov

Пусть моей маме позвонит Киркоров и лично поздравит ее с Днем Рождения, хехе

Ответить
Развернуть ветку
Александр Ажгихин

Заказываю, Под Новый год оформить?

Ответить
Развернуть ветку
Роман Романов
Ответить
Развернуть ветку
Denis Kiselev

точно! я же помню - где то это видел!

Ответить
Развернуть ветку
1 комментарий
Макс Мухарёв

Ситуация ни капельки не страшная, а вполне прогнозируемая. И вместо того, чтобы закрывать глаза на это, и делать тупые мувы из разряда "мы примем закон, который запретит это и все будет хорошо", нужно искать решения.

На мой взгляд пора усиленно работать в области электронной подписи, где каждый материал может быть подписан личной подписью. Других способов увеличить доверие к источнику я пока не вижу. Таким образом появится и личная ответственность за публикацию. А кроме ответственности появится и защита информации. Можно будет легко отличить фейк от реальной информации. При этом анонимные источники тоже должны существовать, но к ним будет доверие гораздо ниже.

С голосом тоже самое - должна произойти ситуация, вроде "голос поступил из неизвестного источника и не принадлежит вашему сыну. Пометить как спам?"

И это хорошо бы уже сейчас начинать внедрять в браузеры и операционные системы.

Ответить
Развернуть ветку
Макс Мухарёв

Кстати, для ещё большей озабоченности по этому вопросу стоит погуглить ещё тему gpt-2 и fake news. Нас скоро накроет волна всякого дерьма, которое будет невозможно оценить объективно, так как генерировать будет проще, чем опровергать.

Ответить
Развернуть ветку
Кроко

Так нет же проблемы то никакой. Поступает информация, а не голос. Доверять ей или нет - давно уже есть решения.

Ответить
Развернуть ветку
10 комментариев
Роман Романов

Блокчейн?

Ответить
Развернуть ветку
2 комментария
Владимир

Программа интересная, а ситуация страшная...

Ответить
Развернуть ветку
Роман Романов

Страшная она только для тех, кто почему-то не верил, что технологии рано или поздно дойдут до этого.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман Романов

Будут притворяться уже главами государств? : )

Ответить
Развернуть ветку
Эдгар Удрис

Где протестировать?

Ответить
Развернуть ветку
Анатолий Б.

Дык это давным-давно мошенниками применяется: «Мам (пап) я попал в аварию...». Звонят, снимают фразу по телефону, потом обрабатывают и перезванивают уже с искажением.

Ответить
Развернуть ветку
Кроко

"Какой же вы христианин, если вы не читали трудов святого преподобного отца Пигидия?"

Ответить
Развернуть ветку
Артем Королёв

теперь ещё более похоже

Ответить
Развернуть ветку
Saucedo Puetz

Кто там сдал свои голоса в сбербанк? Срочно заберите назад!

Ответить
Развернуть ветку
Евгений Попов

На самом деле тут вариантов использования мошенниками больше чем использования для хороших целей. Это как возможность подделывать подпись и так далее.
Потом трудно доказать будет человеку, что не он что то сказал. Тем более подмену номера делают на раз.

Ответить
Развернуть ветку
Владлен Субботин

Следующий шаг - создание виртуальной маски лица.
Смотришь в камеру, а специальный софт преобразовывает твое лицо в необходимое для прохождения биометрии.
А слепки отпечатков пальцев появились с выходов iPhone 5 для его разблокировки.

Ответить
Развернуть ветку
Артем Королёв

уже же есть подделка лица

Ответить
Развернуть ветку
2 комментария
Макс Мухарёв

Роршах )

Ответить
Развернуть ветку
Роман Романов

Жаль, презентация совсем невнятная - что? Где кто? Куда слушать... Не ощутить крутости пока, подождём.

Ответить
Развернуть ветку
Mara Iliinskaya-Dergacheva

Я думаю, это жопа((

Ответить
Развернуть ветку
Читать все 51 комментарий
null