Экспериментальная нейросетевая музыка
После прочтения данной статьи хотел поделиться своим опытом работы с нейросетями для генерации музыки:
Прошлой зимой , практически случайно, наткнулся на нейросеть для генерации музыки под названием Riffusion. Мне было интересно как она вообще работает (так как я до этого не сталкивался с подобными нейросетями). Сейчас опишу некоторые особенности данной нейроночки:
- Нейросеть бесплатная (само собой что там есть премиум подписка с расширенными возможностями) - но для ознакомления и генерации музыки бесплатной версии вполне достаточно
- Riffusion имеет такую особенность что по одному промту генерирует сразу два трека которые отличаются по звучанию (порой достаточно сильно)
- В редакторе есть система готовых подсказок для лучшей детализации промта
- В редакторе есть функция написания текстов по запросу и встроенный переводчик
В качестве текста я использовал "Глава 5. Что ничем из умственного не является, превосходя его, Причина всего умственного" из книги "Мистические богословие" Дионисия Ареопагита:
В конце лета у Riffusion вышло обновление (скорее дополнение - так как это совершенно другая нейросеть со своими особенностями) под названием Producer AI. Данная нейросеть является более профессиональной и качество музыки мне нравится больше. У этой нейросети есть некоторые особенности:
- Регистрация только по пригласительной ссылке которую должен отправить человек, который уже ею пользуются ( можно пригласить только одного человека)
- У Producer AI и Riffusion связанные аккаунты.
- Более продвинутый ИИ
Ниже будет пример музыкального трека созданного мной сегодня с помощью Producer AI
P.S с Suno я ,к сожалению, пока не работал - но думаю что качество музыки и принцип работы ± аналогичный с теми нейросетями которые мне знакомы