Udio: как с помощью нейросети создавать оперные арии, поп-хиты и саундтреки

Если плейлист надоел, нужны идеи или новые мемы.

Нейросеть для генерации музыки выпустили в апреле 2024 года. Создатели Udio — бывшие разработчики Google DeepMind. С помощью Udio они хотят сделать создание музыки максимально доступным для всех, будь то композиторы, авторы стихов, будущие звёзды или их фанаты. Для этого на каждом этапе производства регулярно подключали людей из индустрии: музыкантов, исполнителей и продюсеров.

Пользователи не устают сравнивать Udio с Suno AI — другой нейросетью-гигантом для создания музыки. Пока Udio отстаёт только по двум параметрам: количество бесплатных кредитов в день и длина генерируемых треков. Udio за раз генерирует не больше двух минут и десяти секунд (Suno AI пишет композиции и по пять минут). О том, как протестировать нейросеть с помощью бесплатных десяти кредитов и написать свой первый (или уже далеко не первый) трек, — в этом тексте.

Содержание

1. Для начала нужно зарегистрироваться, для этого подойдёт обычная почта. В России сервис работает без ограничений.

2. На домашней странице нажать на кнопку «Create».

3. В верхнюю строку вбить промпт — запрос для нейросети. Чем точнее и проще, тем лучше. Как и другие нейросети, Udio не очень хорошо считывает метафоры и сложные речевые конструкции. Но зато отлично понимает референсы, точные указания по инструментам, биту, общему настроению трека.

4. В поле «Suggestions» выбрать нужный стиль. Вариантов много: альтернатива, мюзикл, опера, хип-хоп, юмористический рок и не только. Эта функция тоже работает по-умному: выбрать противоречащие друг другу стили не получится. Например, если первым кликом выбрать «классику», то потом нейросеть предложит другие уточняющие слова на выбор: опера, виолончель, пианино, оркестр, саундтрек и далее по списку.

5. Выбрать модель. Сейчас их две: udio-130 и udio-32. Первая генерирует дольше, но создаёт треки по две минуты и десять секунд. Вторая работает быстрее, но выдаёт только короткие песни до 32 секунд.

6. В поле «Lyrics» выбрать опцию «Instrumental». Тогда нейросеть не будет добавлять никаких слов в мелодию.

7. Задать параметры в «Advanced Features».

Как они работают и на что влияют:

«Prompt Strength» — насколько дословно нейросеть будет воспринимать промпт. Чем выше показатель, тем точнее ИИ будет следовать указаниям из запроса, но результат в таком случае может отличаться неестественным и не мелодичным звучанием. По умолчанию стоит на 50%.

«Lyrics Strength» — по сути то же, что и «Prompt Strength», только для слов песни. Если поставить это значение на максимум, то ИИ воспроизведёт текст дословно. Если же нет, то пользователь разрешает нейросети креативить, убирать некоторые строки, добавлять новые. Для мелодии без слов этот параметр можно игнорировать.

«Seed» — это число, которое помогает фиксировать за треком определённый набор параметров. Допустим, получилось сгенерировать идеальную мелодию, но нужно немного подправить слова текста. Копируем seed, правим промпт — готово! Как ещё можно редактировать композиции, описано ниже.

«Clip Start» — позволяет указать, где должен начинаться сгенерированный трек в контексте полной песни. Допустим, нужно создать не всю композицию, а только припев. Или только концовку с затуханием. Если поставить значение на 0%, то ИИ сгенерирует трек с начала, на 50% — с середины, на 90% — с конца песни.

«Lyric Timing» — определяет, где текст будет начинаться и заканчиваться. Если поставить значение на 0%, то слова будут звучать с самого начала, 50% — с середины, а 100% — ближе к концу трека. Этот параметр можно не настраивать, тогда ИИ сам определит лучший вариант. При работе с мелодией без слов эту настройку игнорируют.

«Clarity» — фиксирует, насколько нейросеть должна приоритизировать чистоту звука и разделение инструментов. Нужно ли пользователю, чтобы было слышно каждый отдельный инструмент.

«Generation Quality» — экспериментальная функция, позволяет выбрать, что важнее: качество аудио или быстрота генерации.

8. Нажать кнопку «Create». Готово!

Промпт: «Folk, soundtrack to an epic Viking film, fast, energetic».

(«Фолк, саундтрек к эпическому фильму о викингах, быстро, энергичнo»).

Обложку и названия треков Udio придумывает сам.

1. Возвращаемся к инструкции выше и следуем ей до шестого шага.

2. В поле «Lyrics» выбираем «Write Lyrics», если хотим, чтобы ИИ наложил музыку на наш текст. Чтобы нейросеть написала слова сама, выбираем «Auto-generated».

3. В промпте прописываем не только стиль, настроение, скорость темпа и инструменты. Указываем предпочтения по вокалу и тембру. Ещё помогут референсы и ссылки на популярных исполнителей. Но нейросеть сможет только скопировать стиль, а тексты популярных зарубежных исполнителей перепевать не будет — авторские права.

С российскими исполнителями всё намного проще. Звучит очень естественно. Иногда ошибается в сложных словах или ударениях, но это едва заметно. Вот как Udio исполнил метал-кавер на песню «Конь» группы «Любэ».

Промпт: «Industrial metal, hardcore, Rammstein style, angry».

(«Индустриальный метал, хардкор, стиль Rammstein, злой»).

Такой текст нейросеть сгенерировала сама.

Промпт: «Alt-pop, electropop, rock, Billie Eilish style, the lyrical heroine straggles to choose a new hair color and a new personality».

(«Альт-поп, электропоп, рок, стиль Billie Eilish, лирическая героиня мечется в поисках нового цвета волос и новой личности»).

Название песни и сам текст отлично попадают в промпт, звучит очень мелодично, и рифма везде есть.

1. Сгенерированные треки Udio сохраняет в разделе «All creations». Чтобы отредактировать песню, продлить её или сделать ремикс, нужно навести курсор на стрелочку у кнопки «Extend».

2. Чтобы продлить трек, нажимаем «Extend».

Настройки тут почти такие же, как и на обычной рабочей странице. Добавилась только опция «Extension Placement» — здесь можно выбрать, куда нейросеть приклеит новый сгенерированный кусочек.

«← Add Intro» — к исходному клипу добавит вступление.

«← Add Section» и «Add Section →» — добавит кусочек до или после исходного трека.

«Add Outro →» — добавит концовку.

3. Если нужно изменить аранжировку, выбираем «Remix». В поле «Select Remix Region» указываем, какой именно отрывок клипа хотим замиксовать. А в поле «Variance» обозначаем, насколько сильно хотим изменить исходный вариант. Чем выше этот показатель, тем меньше результат будет похож на оригинал.

4. Если нужно вставить фрагмент в конкретное место песни, то понадобится функция «Inpaint». Она есть только у пользователей с платной подпиской.

Есть три типа подписки — бесплатная, стандартная и Pro.

Бесплатно все пользователи получают 10 кредитов ежедневно. Это внутренняя валюта, за один кредит генерируется 30-секундная аудиодорожка. Этого хватит, чтобы протестировать возможности ИИ. Но для полноценной работы с треками придётся заплатить. В этом вопросе конкуренты Udio щедрее.

Платные подписки подразумевают больше кредитов (1200 и 4800), а ещё с ними треки генерируются быстрее. Стандартная подписка — $10 в месяц, Pro — $30 в месяц. Оплатить можно долларами, евро и фунтами стерлингов.

Udio действительно умеет делать музыку — получается мелодично, слышно инструменты, есть рифма и красивый вокал. Но на фоне этого успеха у экспертов возникли подозрения, что Udio тренировали на треках популярных исполнителей и не научили соблюдать авторские права. Хоть ИИ отказывается перепевать слова зарубежных песен, некоторые сгенерированные мелодии могут напоминать мотивы известных треков.

Поэтому в июне 2024 года Американская ассоциация звукозаписывающей индустрии подала иск против Udio и Suno AI. Основная причина — нарушение авторских прав и требование прекратить обучать нейросети авторской музыкой. В будущем станет понятно, повлияет ли эта проблема на качество генерируемых треков.

А вы пробовали делать музыку в нейросетях? Поделитесь лучшими результатами!