И джаз, и электроника: проекты, которые используют искусственный интеллект для создания музыки

ИИ помогает музыкантам тестировать новые идеи, находить оптимальный эмоциональный контекст, интегрировать музыку в современные медиа и просто развлекаться.

В начале 1960-х годов французский архитектор и композитор греческого происхождения Яннис Ксенакис начал использовать звучания, сгенерированные с помощью ЭВМ и специальных программ на языке Fortran. В 1980-х годах музыкант и ИТ-исследователь Кемаль Эбчиоглу предложил в своей докторской диссертации алгоритмическую систему для гармонизации хоралов в стиле Баха.

По мере того как искусственный интеллект и машинное обучение становились всё более изощренными, рос потенциал компьютерной музыки. Вскоре алгоритмы смогли анализировать принципы составления музыкальных произведений на основании реальных примеров.

Учёный и музыкант Джон Байлс разработал алгоритм GenJam, способный на джазовые импровизации. Байлс, исполняющий джазовые композиции на трубе, выступал вместе с GenJam в рамках проекта Al Biles Virtual Quintet. Аналогичный алгоритм GenBebop был разработан учёными-когнитивистами Ли Спектором и Адамом Алперном для соло импровизаций в стиле Чарли Паркера.

Одной из наиболее убедительных попыток компьютерного музыкального творчества стал алгоритм Continuator, разработанный Франсуа Паше в Sony Computer Science Laboratory в Париже. В тесте Тьюринга, в котором Continuator джемил с профессиональным пианистом, большинство слушателей не смогли угадать искусственное происхождение его мелодий.

Наиболее известная попытка обучить компьютер творческой самостоятельности — Эмили Хауэлл, программа, созданная в 2012 году профессором музыки Дэвидом Коупом. Он предполагал, что любое творчество вдохновлено плагиатом, а великие композиторы впитывали музыкальные гармонии, которые были созданы ранее, и их мозг «перекомпоновал» мелодии и фразы характерными для них, узнаваемыми методами. Эти взгляды легли в основу его разработки.

Первой программой, создавшей симфоническую композицию в своём собственном стиле (вместо того, чтобы подражать стилю существующих композиторов), стала Iamus. Первый музыкальный фрагмент её «сочинения» Opus One был создан 15 октября 2010 года, а ровно через год появилась первая полная композиция Hello World!

Четыре произведения Iamus транслировались в прямом эфире из Школы компьютерных наук в Университете Малаги 2 июля 2012 года. Композиции, исполненные на этом мероприятии, были позже записаны Лондонским симфоническим оркестром и составили альбом Iamus, который New Scientist отметил как первый полный альбом, созданный исключительно компьютером и записанный музыкантами-людьми.

Авторы Iamus — специалисты исследовательского проекта Малагского университета Melomics, который частично финансируется испанским министерством экономики.

Другой рекордсмен в области машинной музыки — созданная в феврале 2016 года AIVA — специализируется на сочинении симфонической музыки для кино. Этот ИИ стал первым в мире виртуальным композитором, признанным музыкальным обществом (SACEM).

Исследовательское подразделение Google Magenta, которое находит способы использования искусственного интеллекта для сотворчества с людьми, в 2017 году представило NSynth Super.

В отличие от традиционного синтезатора, который генерирует аудио из компонентов, разработанных вручную, NSynth использует глубокие нейронные сети для генерации отдельных звуков и собственных семплов. Кроме того, NSynth Super — экспериментальный инструмент с открытым исходным кодом. Это даёт музыкантам исследовать новые звуки, а разработчикам — алгоритм машинного обучения NSynth.

Flow Machines — это исследовательский проект, финансируемый Европейским исследовательским советом (ERC) и возглавляемый Франсуа Паше.

Программа Flow Machines сочинила две песни в соавторстве с поп-композитором Бенуа Карре: Daddy’s Car и Mister Shadow. Flow Machines также выпустили DeepBach, систему нейронных сетей, которая производит правдоподобную гармонизацию в стиле Баха.

С помощью этого алгоритма в 2017 году был выпущен альбом с уже знакомым нам названием Hello World, созданный с использованием искусственного интеллекта. BBC назвала его первым «хорошим» музыкальным альбомом от ИИ.

Запущенный в январе 2017 года австралийский стартап Popgun создал искусственный интеллект Alice, способный подпевать и подыгрывать исполнителям в реальном времени. Начало было положено, когда Alice научилась прогнозировать гармоничное продолжение проигранного ей отрывка композиции.

В августе 2017 года Alice научилась импровизировать: изменять «услышанную» последовательность нот, сохраняя общую музыкальную тему. К началу 2019 года Alice освоила аранжировку на нескольких музыкальных инструментах: она может подыграть вокалисту на басу, барабанах, пианино, а также свести разные музыкальные отрывки в одну композицию.

Другой проект музыкального творчества ИИ, The Watson Beat, написанный IBM Research, не нуждается в огромной музыкальной базе данных, как проекты Google Magenta и Flow Machines, поскольку он использует обучение с подкреплением и глубокую сеть доверия для создания музыки.

Например, в рамках партнёрства с британским хип-хоп-продюсером Алексом Да Кидом алгоритм The Watson Beat проанализировал данные о музыке и культуре человечества за последние пять лет. Чтобы определить наиболее распространенные темы творчества, разработчики использовали API языка Watson Alchemy для чтения и понимания речей Нобелевской премии мира, статей New York Times, текстов песен, синопсисов фильмов и многого другого.

Затем API Watson Tone Analyzer проанализировал более 2 миллионов строк социального контента, чтобы понять эмоции, связанные с актуальными темами.

Используя алгоритмы машинного обучения, The Watson Beat способен учиться на песнях, деконструируя высоту тона, время, последовательность и скорость нот. В сочетании с теориями об эмоциональных реакциях на музыку, The Watson Beat может генерировать совершенно новые музыкальные партитуры, основанные на разнообразных предпочтениях или чувствах.

Используя эту технологию, Алекс смог создавать новые песни или фрагменты песен, например, басовую партию, пока не нашел звук, который вдохновил его. И хотя итог этого партнерства — композиция Not Easy, вышедшая осенью 2016 года — это оригинальная работа Алекса, The Watson Beat стала инструментом для поиска сильных музыкальных приемов и мелодий, анализа транслируемых музыкой эмоций для создания популярной композиции.

В марте 2019 года звукозаписывающая компания Warner Music подписала свой первый контракт на создание музыки, созданной с использованием компьютерных алгоритмов, с компанией Endel. Сооснователь этого немецкого стартапа Олег Савицкий — бывший журналист российского издания F5 и мобильный разработчик.

Endel — кроссплатформенная аудиосистема для смартфонов и колонок Amazon Echo. Приложение генерирует музыкальный фон, учитывая время дня, погоду, разные цели слушателя — пробуждение, отдых, концентрация, тренировка. Президент подразделения по искусству и музыке Warner Music Group Кевин Гор объяснил, что новый бренд позволит закрыть пустующие направления в ассортименте компании.

Российский «Яндекс» также экспериментирует с применением искусственного интеллекта в музыке. Первым таким опытом стал альбом симфонической музыки по мотивам «Гражданской обороны» в 2016 году.

Для создания «Нейронной обороны» искусственный интеллект проанализировал тексты Егора Летова, а инженеры перегнали цифровую запись композиций через аудиокассету, после чего оцифровали обратно для получения аутентичного звучания.

В феврале 2019 года другая нейросеть Алексея Тихонова и Ивана Ямщикова из «Яндекса» стала соавтором пьесы для альта с оркестром композитора Кузьмы Бодрова. Несмотря на то, что нейросеть была обучена на четырех гигабайтах MIDI-файлов с произведениями разных эпох, справиться с классической музыкой оказалось сложнее, чем с сибирским панк-роком.

Более 90% материала было отбраковано композитором, а наиболее удачные идеи Кузьма Бодров развил в полноценную музыкальную композицию. 24 февраля её исполнил государственный симфонический оркестр «Новая Россия» под управлением Юрия Башмета на закрытии Зимнего международного фестиваля искусств в Сочи.

Сейчас исследования направлены на применение искусственного интеллекта в составлении музыкальной композиции, исполнении и цифровой обработке звука, а также продажу и потребление музыки. Множество созданных на основе ИИ программ и приложений используется для обучения и создания музыки.

AlgoTunes — это музыкальная компания, разрабатывающая приложения, которые генерируют музыку. На сайте любой может создать рандомный музыкальный отрывок с заданным стилем и настроением одним нажатием клавиши — правда, выбор настроек очень ограничен.

Музыка создается веб-приложением за несколько секунд и доступна для загрузки в виде файлов WAV или MIDI.

MXX (Mashtraxx Ltd), основанная в 2015 году — это первый в мире механизм искусственного интеллекта, который мгновенно преобразует музыку в видео, при этом используя только стерео-файл.

MXX позволяет адаптировать музыку под конкретный пользовательский контент: например, для спортивных занятий и бега, для сюжетов компьютерных игр и так далее. Первый продукт MXX, Audition Pro, позволяет любому редактировать музыку для видео: загружать уже существующую композицию и автоматически подгонять повышение интенсивности звучания, затухание и паузы в соответствии с динамикой видео.

Сейчас MXX предоставляет услуги ведущим коммерческим библиотекам, музыкальным сервисам, производителям игр и контент-студиям, которым нужна адаптированная для современных медиа музыка.

Orb Composer — разработанная Hexachords программа для помощи в составлении оркестровых композиций на этапах выбора жанра, подбора инструментов, составления структуры трека.

OrchExtra может помочь небольшому ансамблю средней школы или городского театра собрать полную бродвейскую партитуру. OrchExtra играет роль недостающих инструментов, отслеживая колебания темпа и музыкального выражения.

По мнению Игоря Шнуренко, специалиста по искусственному интеллекту и криптовалютам, ИИ-стартапы сегодня полностью захватили digital-маркетинг в музыкальной индустрии. В октябре 2018 года Apple приобрела стартап Asaii, занимающийся аналитикой для музыкальных лейблов и музыкальных агентов.

Алгоритм Asaii помогает найти перспективных артистов до того, как их музыка «выстрелит» в чартах. Что касается внедрения искусственного интеллекта в творческое создание и другие аспекты музыкальной индустрии в России, эксперты считают эту нишу перспективной — правда, пока в отдаленном будущем.

#искусственныйинтеллект #машинноеобучение #музыка #искусство