Как сгенерировать звуки или музыку для ролика в сервисе MMAudio
Пригодится для озвучивания игр, мультфильмов или сгенерированных видео.
- Генератор MMAudio может синтезировать звуковые эффекты и музыку для конкретного видео. Модель анализирует ролик, которой загружает пользователь, и на выходе добавляет к нему аудиодорожку. Бесплатная демоверсия доступна на Hugging Face.
- В окне для промпта можно написать подсказу, но нейросеть может создать звук и без неё. В настройках есть опция «Негативный промпт», там можно написать, например, music, тогда модель не добавит музыку в видео.
Скриншот vc.ru
Генерация аудио без текстовых подсказок. Видео сгенерировано в Veo. Источник видео: Joseph Carlson
- В тесте редактора vc.ru модель смогла синтезировать мелодию на фоне и сохранила звук нарезки овощей.
Запрос: The sound of a man chopping vegetables on a chopping board and relaxing music / Звук, как человек нарезает овощи на разделочной доске, и спокойная музыка
- Пользователи сети X также применяют модель для создания звуковых эффектов в компьютерных играх.
Видео, сгенерированное Sora, со звуком от MMAudio. Источник: cocktail peanut
- Есть пример с аудиоэффектами для фрагмента из презентации Apple WWDC 2024.
Источник: cocktail peanut
- Ещё модель умеет генерировать музыку, ориентируясь на взаимодействие с инструментом на видео.
Источник: cocktail peanut
Источник: Andreas M
- Пользователь создал свои звуковые эффекты для фрагмента из фильма «Матрица».
Источник: Pip
- В другом примере шумы в MMAudio дополнили речью, синтезированной в сервисе F5TTS.
Источник: Blaine Brown
- Другие примеры звуковых эффектов.
Источник: AIGCLINK
Источник: Blaine Brown
Помидор режут, а звук от пилы
Подобные возможности показывают то, что ИИ развивается огромными шагами и я считаю, что это хорошо, потому что если раньше человеку нужно было с ноля создавать те же звуковые эффекты, то сейчас он может дать промпт ИИ и он в свою очередь сгенерирует звук, который можно будет подкорректировать под свои нужды
На самом деле музыка играет важную роль, если неправильно подобрать ее, то вся картина меняется, надо подходить к этому вопросу с большой ответственностью, радует, что ИИ развивается со скоростью света и дает такие возможности, облегчая работу людям.