Riffusion — генерация музыки и звуков из текста
Как работает?
— Использует модель Stable Diffusion, настроенную именно под звуки и музыку на основе спектрограмм (визуальное представление звуковой волны)
— Создание длинных композиций в различных жанрах: от электроники и рока до классики и джаза. Лучше всего справляется с инструментальной музыкой
— Быстрая генерация. Сервис реально быстро выдает результат, буквально 10-15 секунд и можно забирать трек или готовый звук
Особенности
— При запросе выдает не 1 результат, а сразу 2 — 3 быстрых генерации в день, после — медленный режим (который в целом тоже справляется достаточно быстро)
— Есть библиотека, куда сохраняются результаты — На бесплатном тарифе нельзя загрузить свой файл для редактирования, но можно использовать те файлы, что были созданы внутри riffusion для их редактирования — На сайте есть огромная библиотека с опубликованными аудиофайлами, можно брать их за основу — Файлы выгружаются в формате MP3, без каких-либо артефактов, ограничений и прочих нюансов, тут все супер
Мое мнение
— Я ищу скорее что-то для генерации звуков и в целом сервис с этим справляется, но при этом дает очень длинные файлы, которые нужно будет обрезать.
— Самое главное, что дается неограниченное количество генераций (на практике медленный режим все равно достаточно быстрый)
Примеры
Итого
Возвращаясь к моему процессу создания видео по картинке, которая в свою очередь создана на текстовой модели (например: aistudio), можно сказать, что теперь это еще на шаг ближе!