Специалисты создали нейросеть для создания поддельных голосов Статьи редакции
Алгоритм умеет имитировать голос говорящего по фрагменту стороннего аудиофайла.
Группа разработчиков создала алгоритм для синтеза текста в речь (text-to-speech; TTS) на основе нейросетевых моделей Tacotron 2 и WaveNet, который умеет создавать голос, имитирующий говорящего по фрагменту стороннего аудиофайла. Результаты работы опубликованы на arxiv.org в июне 2018 года, открытый исходный код размещён на площадке GitHub.
Для работы алгоритма нужно два аудиофайла: один с примером голоса, который необходимо скопировать, и второй с фразой, которую этим голосом нужно произнести. После этого алгоритм почти в реальном времени преобразует голос из второго аудиофайла, делая его похожим на голос говорящего из первого файла.
0
показов
47K
открытий
Комментарий недоступен
627 форков, однако...
Хорошая система биометрии снабжается системой антиспуфинга. Синтез - один из видов атак, причем не самый сложный (даже самый продвинутый). Просто не пройдет. К тому же качество синтеза в предложенной системе не ахти. Они просто мультиспикерную TTS обучили, обусловленную на эмбеддинги спикеров (векторы признаков голоса) и новых спикеров добавляют, получаю новый эмбеддинг из образца. Это плохо работает. Есть ситемы voice conversion, они лучше работают. Но там не синтез, а конверсия конкретной записи с голосом одного диктора в такую же запись с голосом другого. Хотя ничего не мешает сначала синтезировать одним голосом, а потом провести конверсию в другой (образец).
Возможное применение в дубляже фильмов. Берем оригинальную дорожку, накладываем на дубляж. Получаем дубляж с голосом оригинального актера.
+другая нейросеть подправляет липсинк, чтобы локализаторам дать полную свободу.
Можно и просто генерировать хорошие голоса, а актеров полностью создавать с нуля. Это огромный плюс для кинематографа будет.
Прекрасно, я считаю! Если будет возможно - это же будет очень круто! Решится проблема хейта дубляжей и желания слушать с оригинальным голосом актера
Пусть моей маме позвонит Киркоров и лично поздравит ее с Днем Рождения, хехе
Заказываю, Под Новый год оформить?
точно! я же помню - где то это видел!
Ситуация ни капельки не страшная, а вполне прогнозируемая. И вместо того, чтобы закрывать глаза на это, и делать тупые мувы из разряда "мы примем закон, который запретит это и все будет хорошо", нужно искать решения.
На мой взгляд пора усиленно работать в области электронной подписи, где каждый материал может быть подписан личной подписью. Других способов увеличить доверие к источнику я пока не вижу. Таким образом появится и личная ответственность за публикацию. А кроме ответственности появится и защита информации. Можно будет легко отличить фейк от реальной информации. При этом анонимные источники тоже должны существовать, но к ним будет доверие гораздо ниже.
С голосом тоже самое - должна произойти ситуация, вроде "голос поступил из неизвестного источника и не принадлежит вашему сыну. Пометить как спам?"
И это хорошо бы уже сейчас начинать внедрять в браузеры и операционные системы.
Кстати, для ещё большей озабоченности по этому вопросу стоит погуглить ещё тему gpt-2 и fake news. Нас скоро накроет волна всякого дерьма, которое будет невозможно оценить объективно, так как генерировать будет проще, чем опровергать.
Так нет же проблемы то никакой. Поступает информация, а не голос. Доверять ей или нет - давно уже есть решения.
Блокчейн?
Программа интересная, а ситуация страшная...
Страшная она только для тех, кто почему-то не верил, что технологии рано или поздно дойдут до этого.
Комментарий недоступен
Будут притворяться уже главами государств? : )
Где протестировать?
Дык это давным-давно мошенниками применяется: «Мам (пап) я попал в аварию...». Звонят, снимают фразу по телефону, потом обрабатывают и перезванивают уже с искажением.
"Какой же вы христианин, если вы не читали трудов святого преподобного отца Пигидия?"
теперь ещё более похоже
Кто там сдал свои голоса в сбербанк? Срочно заберите назад!
На самом деле тут вариантов использования мошенниками больше чем использования для хороших целей. Это как возможность подделывать подпись и так далее.
Потом трудно доказать будет человеку, что не он что то сказал. Тем более подмену номера делают на раз.
Следующий шаг - создание виртуальной маски лица.
Смотришь в камеру, а специальный софт преобразовывает твое лицо в необходимое для прохождения биометрии.
А слепки отпечатков пальцев появились с выходов iPhone 5 для его разблокировки.
уже же есть подделка лица
Роршах )
Жаль, презентация совсем невнятная - что? Где кто? Куда слушать... Не ощутить крутости пока, подождём.
Я думаю, это жопа((
Comfort
теперь я пытаюсь разобраться, как эту хрень открыть