Stability AI представила модель для генерации мелодий и звуковых эффектов на смартфоне

Можно создать аудио длиной до 11 секунд.

Stability AI в партнёрстве с Arm представила Stable Audio Open Small с открытым исходным кодом для генерации аудио по текстовой подсказке.
Модель содержит 341 млн параметров и оптимизирована для работы на процессорах Arm. По словам компании, она разработана для быстрого создания коротких семплов и звуковых эффектов на смартфонах: генерация до 11 секунд аудио займёт менее восьми секунд.
Stable Audio Open Small доступна бесплатно для коммерческого и некоммерческого использования по лицензии Stability AI Community License на Hugging Face и GitHub.
Как уточняет TechCrunch, промпты можно вводить только на английском языке. Модель обучена на песнях из бесплатных библиотек Free Music Archive и Freesound.

Примеры генерации Stable Audio Open Small. Источник: TechCrunch

Stability AI выпустила модель Stable Audio для генерации музыки в сентябре 2023 года. Компания также работает над моделями для генерации изображений и инструментами для создания видео из картинок.