Suno v6: звукоинженер так и не вернулся из туалета

В первой статье я довольно восторженно написал, что Suno v6 совершила тихую революцию: цифрового мусора стало заметно меньше, вокал и отдельные инструменты местами приблизились к нормальной студийной записи, а внутри стемов обнаружилось качество, которого я от нейросетевой музыки раньше просто не слышал.

Статья собрала почти полторы тысячи просмотров, а я тем временем продолжил издеваться над Suno.

И теперь всё стало «несколько веселее».

Потому что первая часть вывода осталась прежней: сама генерация звука и аранжировки действительно стали лучше.

А вот инженерная часть — сведение, стабильность, стемы и поведение модели на длинной дистанции — временами напоминает лабораторию, в которой очень умные люди собрали прекрасный двигатель, но забыли прикрутить половину агрегатов.

Началось всё с того, что я стал внимательнее смотреть не на готовую песню, а на отдельные дорожки.

И быстро обнаружилась интересная вещь.

Частотный баланс стема может плавать по ходу одной песни.

Причём речь не о том, что аранжировка стала плотнее или вокалист запел громче. Может измениться именно характер самой дорожки.

Например, вокал в начале песни открытый и читаемый, а через пару минут становится темнее, зажатее и тише.

С барабанами происходит похожая история.

И самое весёлое — и вокал, и барабаны, и гитары могут плавать и по частотному балансу, и по громкости, причём в разных местах композиции.

То есть это уже не похоже на единый мастеринг, который постепенно куда-то уехал.

Каждый источник как будто начинает жить по собственным законам.

Громкость тоже не всегда стабильна. Один и тот же инструмент способен внезапно выйти вперёд или, наоборот, провалиться назад без очевидной музыкальной причины.

А в готовом миксе, даже в скачанной вавке, в тех местах, где стемы просаживаются, на удивление, всё стабильно!

Но когда это слышно внутри отдельных стемов, вопросов становится значительно больше.

Ещё один сюрприз: пространство в стемах и в итоговом WAV может отличаться.

Например, вокал в готовой песне сидит в одном пространстве, а скачанный вокальный стем содержит заметно другую картину реверберации.

Где-то хвост длиннее.

Где-то короче.

Где-то меняется количество ранних отражений.

А иногда после удаления части реверберации чем-нибудь типа DeReverb PRO микс просто рассыпается.

И вот здесь возникает довольно интересный вопрос:

что именно Suno называет стемом?

Это настоящая внутренняя дорожка, из которой потом собирается микс?

Или результат последующего разделения уже готовой генерации?

Или нечто промежуточное?

Моё подозрение — это разделение готовой генерации по типу того же Moises, только деградированное даже относительно версии 5.5. Про сравнение сплита между Moises и Suno я уже не говорю — тут спецы Suno сделали 2–3 прыжка назад!

Но по поведению материала всё меньше хочется воспринимать стемы Suno как классические дорожки из студийной сессии.

Вот здесь начался настоящий цирк с клоунами.

Один и тот же WAV я стал разделять разными сервисами.

И выяснилось, что каждый из них слышит одну и ту же песню по-разному.

Где один сервис решает, что конкретный звук принадлежит гитаре, другой относит его к клавишам.

Один оставляет часть тарелок в вокале.

Другой забирает вместе с вокалом часть синтезатора.

Третий прекрасно вытаскивает бас, но при этом уничтожает часть атаки.

То есть мы не имеем дело с простым восстановлением заранее существующих дорожек.

Каждая система фактически строит собственную гипотезу о том, из чего состояла исходная фонограмма.

И это очень хорошо объясняет, почему один разделитель на конкретной песне может дать прекрасный результат, а другой — полную кашу.

Moises в этом списке для меня пока остаётся чемпионом.

Современные системы разделения настолько отличаются по поведению, что сравнивать их имеет смысл не вообще, а на конкретном типе материала.

Особенно на нейросетевой музыке, где сами источники уже изначально могут быть связаны между собой гораздо сложнее, чем обычная запись живой группы.

Параллельно я всё это время следил за тем, что пишут пользователи Suno на Reddit.

И довольно неприятно видеть, что некоторые странности повторяются у совершенно разных людей.

Один из самых частых сценариев — деградация второй половины длинной песни.

Начало звучит нормально.

Потом постепенно начинает исчезать ясность верхов, инструменты хуже разделяются, вокал становится грубее, плотнее или мутнее, а компрессия ощущается всё сильнее.

Есть сообщения, где к последней трети песни малый барабан буквально превращается в глухой удар. На конкретно моём подопытном треке snare — это пластиковое ведро... 🤦‍♂

Другие пользователи описывают похожую картину как постепенное превращение нормального звука в нечто похожее на пережатый MP3.

И это очень близко к тому, что я слышу сам.

Ещё один повторяющийся симптом — ускорение вокала.

Модель начинает заталкивать фразу в оставшееся музыкальное пространство, проглатывает окончания строк, сокращает слова или неожиданно ускоряет подачу. Но этот баг — по-другому мне сложно это назвать — начал проявляться ещё в 5.5.

Особенно много таких сообщений встречается при работе с собственными текстами.

Причём команды вроде [pause], [break] и даже более конкретные указания пауз ведут себя нестабильно.

Кому-то помогают запятые и дополнительные обозначения тишины.

У кого-то они вообще ничего не меняют.

Отдельная группа жалоб касается роковой и металлической музыки.

Пока инструментов немного, всё звучит вполне убедительно.

Но при накоплении гитар модель иногда перестаёт нормально их разделять.

Появляется синтетический оттенок, середина уплотняется, отдельные инструменты превращаются в единую стену из овсяной каши 🤣.

Иногда одновременно резко увеличивается количество реверберации.

Причём стиль звучания может заметно измениться прямо внутри одной генерации.

То есть начало и конец песни словно сводили разные люди.

Очень знакомое ощущение.

Некоторые пользователи описывали ситуацию, когда весь микс начинает ритмично перемещаться между левым и правым каналом.

Не отдельный инструмент.

Вся фонограмма.

Причём движение может происходить практически в ритм композиции.

Есть и сообщения о странных переходах между участками песни, словно из записи внезапно вырезали десять или двадцать секунд, а оставшиеся куски просто склеили.

Встречались жалобы на изменение аккордов и тональности, хотя таких сообщений значительно меньше, поэтому делать из этого отдельную закономерность пока рано.

Отдельного упоминания заслуживает Wild.

Иногда он неожиданно прекрасно чувствует развитие фонограммы.

Добавляет детали именно тогда, когда они нужны.

Хорошо ведёт динамику.

Не перегружает начало.

Создаёт нормальную кульминацию.

Ты уже думаешь:

«Ну вот же! Вот наконец оно!»

А потом приходит финал.

И за последние двадцать секунд всё это произведение инженерного искусства способно превратиться в кашу, неожиданно сменить баланс, добавить лишний слой или просто закончиться так, словно серверу надоело считать песню.

Я несколько раз наблюдал похожее поведение.

На Reddit также встречаются сообщения о том, что именно v6 Wild способен давать искажения, шипение, размазанный низ и слишком жёсткий верх.

При этом универсального правила нет.

Следующая генерация с теми же настройками может звучать значительно лучше.

MAX Mode по идее должен давать модели больше ресурсов на генерацию.

На практике мне пока не удалось услышать настолько стабильного улучшения, чтобы оно соответствовало двойному расходу кредитов.

Иногда результат хороший.

Иногда обычный режим выдаёт не хуже.

А временами простой словесный запрос без сложной инженерии вообще рождает более цельную песню.

То есть пока мой практический вывод довольно неприятный:

MAX Mode уверенно удваивает расход кредитов. Всё остальное — не настолько уверенно.

Возможно, на каких-то типах материала разница действительно существенная.

Но как универсальную кнопку «сделать лучше» я его пока точно не воспринимаю.

В обсуждениях v6 периодически появляется ещё один мотив.

Чем сложнее и подробнее запрос, тем выше вероятность, что модель начнёт выполнять его слишком буквально или странно.

Пользователи описывают неожиданные эффекты, нарушения структуры и ухудшение следования инструкциям.

И это тоже совпадает с моим опытом.

Иногда подробное техническое описание действительно помогает.

А иногда простой человеческий запрос в Simple mode вроде: «Сделай прозрачную меланхоличную рок-аранжировку вокруг голоса и гитары» даёт результат музыкальнее, чем огромный список требований к частотам, транзиентам, пространству и динамике.

Похоже, у модели существует определённая точка, после которой дополнительная инструкция перестаёт помогать и начинает конкурировать с самой музыкой. В общем, специалисты Suno с новой версией нам подкинули параллельно квест: «Поиск нового языка общения с Suno»...

Это пока исключительно гипотеза.

У меня были серии, где после двадцати-тридцати переработок одной и той же песни качество начинало заметно гулять и по большей части качественно вниз.

Особенно странные результаты несколько раз появлялись глубокой ночью, в моём часовом поясе.

Другие пользователи тоже периодически пишут, что одинаковые настройки в разное время дают сильно различающееся качество.

Но здесь я пока не готов заявлять о какой-либо зависимости.

Это может быть нагрузка серверов.

Может быть, распределение задач между разными вычислительными узлами.

Может быть, накопление особенностей самой серии переработок.

А может быть, обычная статистика генеративной модели.

Поэтому пока просто записываем наблюдение и продолжаем проверять.

Самое смешное во всей этой истории заключается в том, что я всё ещё считаю шестую версию шагом вперёд.

Потому что когда она попадает — она попадает очень серьёзно.

Вокал местами уже почти не вызывает ощущения нейросети (если не считать частотные кульбиты).

Бэк-вокалы великолепны.

Бас наконец можно нормально услышать.

Тарелки стали естественнее.

Цифрового мусора значительно меньше.

В отдельных стемах периодически возникает настоящее студийное ощущение.

И тут я поймал себя на мысли, что Suno этим поведением подкидывает работёнки для «перебивщиков» нейромузыки 🧐... Потому что такое качество генерации в основной своей массе стыдно заливать на стриминговые площадки, но материал сам по себе отличный, если его «перебить» 😜.

Получается довольно забавная ситуация: музыканты у Suno уже почти студийные, инженер сведения пока стажёр.

После первой статьи я написал:

«Ждём, когда настоящий звукорежиссёр вернётся из туалета».

Прошло несколько недель.

Он не вернулся.

Зато за это время стало окончательно понятно, что проблема уже не столько в способности Suno создавать хороший звук.

Хороший звук она создавать умеет.

Теперь ей нужно научиться стабильно сохранять его от первой секунды до последней, нормально складывать инструменты друг с другом и отдавать пользователю дорожки, которые действительно ведут себя как дорожки.

Если это исправят в следующем обновлении, получится уже очень серьёзный производственный инструмент.

А пока Suno напоминает студию, в которой собрали прекрасных музыкантов, поставили отличные микрофоны, записали великолепные партии...

и всё ещё ждут техперсонал с ключом от туалета, чтобы выпустить настоящего звукача!