GEEKS & FREAKS HACKATHONS. Как мы совместили data science и современное искусство

Нейронные сети все глубже проникают в нашу жизнь, зачастую становясь отличным развлечением (тут можно вспомнить про Reface APP и кучу приложений, генерирующих изображения). Но мы пошли дальше и решили свести нейронки с современным искусством. Так мы придумали GEEKS &FREAKS HACKATHONS – соревнования, на которых дата сайентисты кооперируются с представителями разных тусовок и с помощью нейросеток генерят уникальный контент.

19 и 20 декабря в офисе Napoleon IT прошел первый хакатон, посвященный генерации техно-музыки нейронными сетями.

Каждая команда, которая состояла из саунд-продюсера и data- science специалиста, должна была создать сет из треков, сгенерированных нейронной сетью, длиной не меньше 8 минут. К слову, эти треки мы планировали сыграть на нашем новогоднем корпоративе в стиле Burning man (забегая вперед: получилось огненно круто!).

В этих соревнованиях приняли участие студенты ЮУрГУ, сотрудники Napoleon IT, известные саунд-продюсеры и диджеи, а также одна команда из Праги, которая присутствовала на хакатоне в режиме онлайн. Всего мы набрали 7 команд.

Для решения задачи саунд-продюсеры должны были собрать коллекцию семплов в формате midi и/или сет-лист из треков в формате wav. От количества треков зависела оригинальность готового файла, поэтому мы рекомендовали ребятам собрать в свою коллекцию не меньше 250 звуковых дорожек.

После того, как музыкальная коллекция была собрана, в дело вступали data science специалисты. Наши эксперты из Napoleon IT сделали ресерч сети на предмет наличия предобученных моделей для того, чтобы помочь нашим участникам добиться максимально качественного звука. Мы остановились на трех моделях: Jukebox, Magenta Tensorflow, MuseGAN.

Первых результатов пришлось ждать достаточно долго, так как модели приходилось дорабатывать, добиваясь необходимой мелодики и BPM. (Сказать честно, даже в итоговых треках проскакивали какие-то совершенно адские звуки, которые появились из-за того, что модели не могут семплировать речь).

Под конец второго соревновательного дня, когда мы выслушали более трех сотен музыкальных набросков, съели 22 круга пиццы, выпили около 20л энергетиков, мы наконец-то добились нужного звучания. У каждой команды получилось сгенерить от 6 до 10 треков, которые потом были сведены в сет саунд-продюсерами.

Мы выявляли победителя после отслушки всего сета и оценивали его жюри, состоящем из 4 человек, по следующим критериям:

Победителем нашего хакатона стала команда Team CZ из Чехии, в составе которой были студенты ведущего технического института Праги ČVUT FIT, а также представители русскоязычной техно-тусовки psina.kollektiv. Ребята покорили как жюри, так и остальных участников, набрав максимальное количество баллов.

После этих соревнований нас посетила мысль создать на SoundCloud аккаунт, на котором мы бы выложили все AI-techno, написанное за эти дни.

Собственно это мы и сделали!

Но круче всего было тусоваться под эти треки на нашем новогоднем корпоративе, куда были приглашены все участники хакатона. Как это было можно посмотреть по ссылке.

Ну и конечно же мы продолжим трек слияния искусства и IT, так что stay tuned!