SonicVisionLM - нейросеть, которая анализирует происходящее на видео, а под действия генерирует звуковые эффекты.
На сайте разработчики представили примеры видео с оригинальной озвучкой и видео, озвученные с помощью SonicVisionLM. Выглядит впечатляюще, особенно мне понравился пример из фильма “Леон”. Вы не заметили ничего необычного в видео сверху? А теперь сравните с оригиналом:
Модель превосходит современные методы преобразования видео в аудио, что приводит к улучшенной синхронизации с визуальными эффектами и улучшенному согласованию между аудио- и видеокомпонентами.
Проект скоро будет выложен на GitHub, а значит использовать технологию можно будет бесплатно, локально и в своих целях. Буду держать вас в курсе, как выложат в открытый доступ, а пока рассказала вам о новой технологии, чтоб вы тоже в курсе были, и знали, что такое тоже есть. Ну и ждали вместе со мной))
А вы с ходу смогли определить, какое видео с оригинальной звуковой дорожкой, а где работа нейросети?
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса, работы и учебы.
