Screenlife Тимура Бекмамбетова и разработчик робота-рекрутера «Вера» создали технологию синтеза голоса знаменитостей Статьи редакции
Партнёры планируют использовать искусственные голоса для озвучки книг, рекламы, игр и другого контента.
Screenlife Technologies Тимура Бекмамбетова и Stafory, разработчик HR-сервиса «Робот Вера» на основе искусственного интеллекта, запустили проект Vera Voice, который позволяет синтезировать голос знаменитостей на русском языке. Об этом vc.ru рассказали в Stafory.
Для развития проекта Screenlife Technologies и Stafory создадут совместное предприятие. Доли в нём распределятся поровну.
В основе Vera Voice лежит нейросеть, которая анализирует оригинальный голос и воспроизводит его цифровую копию. Партнёры планируют использовать копии голосов для озвучки рекламы, объявлений, книг, фильмов, музейных гидов, игр и так далее.
Для синтеза голоса достаточно нескольких часов аудиоданных, озвученных обладателем голоса и оцифрованный текст, который он зачитывает. Аудиопоток и текст «выгружаются» в несколько нейронных сетей одновременно, одна — генерирует спектрограмму звука (его визуальное изображение), а вторая — непосредственно звук.
Пример голоса обладателя для нейросети — эталон, к которой она стремится. Копия голоса синтезируется с учётом специфического произношения слов, скорости речи, интонаций и тембра.
Для работы партнёры планируют заключать договоры с обладателями голоса — Vera Voice станет агентом по синтезу его речи. Первый пилот должны запустить в течение месяца.
Компания уже подписала договор на легальное использование голоса сооснователя студии «Кубик в кубе» Руслана Габидуллина для записи аудиокниг, интерактивной рекламы, игр и голосовых открыток. Также Vera Voice ведёт переговоры об использовании её технологий с агентством аудио-коммуникаций Unisound, первые проекты могут появиться в начале 2020 года.
Ещё один инструмент Vera Voice — защита голоса от deep fake и определение факта синтеза голоса. Партнёры обещают защищать интересы обладателей голоса и отслеживать появление голосовых клонов.
Рано или поздно мы будем жить в мире наших цифровых копий и уже сейчас важно найти цивилизованные способы использования искусственного интеллекта. Отлавливать подделки и защищать известных людей от несанкционированного копирования их образов — одна из главных задач нашего проекта.
Stafory занимается разработками на базе искусственного интеллекта. в 2016 году компания представила сервис для подбора сотрудников с технологией распознавания речи «Робот Вера». Среди инвесторов Stafory — Фонд развития интернет-инициатив.
Мне интересно, как разработчики планируют научить робота понимать текст? А подтекст?
А зачем его понимать? Речь просто об озвучивании чужим голосом готового текста.
Авторы пишут об озвучке художественной литературы. Без понимания текста, подтекстов, смыслов - это будет просто очередная "говорилка". Вот мне и интересно, как они планируют научить робота понимать текст, а не просто воспроизводить, согласно знакам препинания и даже с эмоциональной окраской.
Это отдельная задача - расстановка акцентов и интонаций, может решаться как вручную, так и автоматически. Последнее, самое сложное, вы правы, но и Москва не сразу строилась, пока вот могут голос синтезировать более-менее похоже, уже неплохо.
Я к тому, что интонационных оттенков миллион, и чтобы робот мог озвучить "художку" он должен текст понимать. Ну или проживать, если хотите. Настраивать оттенки вручную будет дорого. А для технической озвучки - да, самое то (статьи, русские закадры к видео и т.д.). Это роботы уже делают неплохо.