Зачем мы заставили код звучать и что из этого вышло

Оказалось, оценить работу ИТ-специалистов можно ушами.

Зачем мы заставили код звучать и что из этого вышло

Практически всё вокруг звучит — снег под ногами, огонь в камине, дождь за окном. Услышать можно даже код, если преобразовать его в мелодию.

Мы в Т1 так и сделали. Собрали код, который получили на хакатонах в шести городах — Москве, Санкт-Петербурге, Нижнем Новгороде, Самаре, Ижевске и Минске — и превратили его в музыку. Послушать её мог любой желающий на ИТ-конференции «Импульс Т1», которая состоялась 29 ноября в российской столице.

Рассказываем, зачем это нужно.

Как сонифицировали данные городов

Конференция Импульс Т1 прошла после серии хакатонов в шести городах этой осенью. Дальше полученный в ходе соревнований код по каждому городу превратили в музыку в три шага:

  1. Преобразовали код в числовые значения в среде SuperCollider и перевели в формат MIDI, который используется для создания музыкальной партитуры.

  2. MIDI-данные скомпилировали и отредактировали, чтобы их можно были использовать как слои композиции: создали партии ударных, баса, атмосферные текстуры и так далее.

  3. Свели дорожки и в финале персонализировали каждую композицию в контексте культурной и исторической атмосферы городов проведения хакатонов.

Код выбирали по эстетическому и функциональному смыслу, а символы рассматривали как потенциальные музыкальные элементы. Мы не просто переводили данные в числа, а изначально настраивали их на звуковое восприятие.

Музыку писали с помощью языка и среды визуального программирования Max, а также расширения MSP, которое позволяет работать со звуком в режиме реального времени. Max — достаточно популярный язык музыкального программирования. Например, его активно использовал гитарист Radiohead Джонни Гринвуд. Но мы сделали ставку не на брит-рок, а на два других стиля:

  • IDM (Intelligent dance music — «умная танцевальная музыка»). Стиль объединяет электронную и танцевальную музыку, которая не вписываются в традиционные рамки других направлений. Акцент на intelligent указывает на наличие композиционной сложности, необычных звуковых тембров, особом эмоциональном и информационном содержании.

  • Algorithmic Ambient. Это более спокойная фоновая музыка, которая призвана погрузить слушателя в определенное состояние через акцент на звуках, а не на ритме или мелодии. Создается с помощью алгоритмов.

Что в итоге получилось

Шесть городов — шесть композиций, которые показывают, насколько сильно отличается атмосфера в городах. Она соткана из ритмов улиц, динамики жизни и исторических фактов, которые скрыты за фасадами домов. Сравните, как отличаются мелодии друг от друга:

Минск. Композиция начинается с медленных аккордов, а после плавно переходит в яркие, но сдержанные ритмы, символизируя гармонию между прошлым и настоящим. Мелодия сочетает задумчивость с элементами современной электронной музыки, одновременно отражая историческую глубину и развитие столицы Беларуси.

Ижевск. Композиция в стиле эмбиент отсылает к богатой промышленной истории города и функциональной архитектуре. Мощь местных заводов передают низкие глубокие ноты мелодии. При создании композиций несколько MIDI-партий были умножены на два, а некоторые, наоборот, разделены, чтобы мелодия звучала более органично и монотонно.

Нижний Новгород. Для основной мелодии взяли код из раздела front с повторяющейся структурой, которые перешел в MIDI-партитуру и образовали канон мелодии. Колокольные спектры и синтезаторы, основанные на физическом моделировании акустических инструментов, как скрипка и флейта в мелодии города отсылают к его богатой музыкальной и церковной культуре.

Самара. Настроение музыки отражает историческое наследие города, а эмбиентные слои сливаются как две реки, транслируя медленный ход времени-воды. Это символизирует гармоничное единство прошлого с настоящим. Ритмические партии и динамические акценты соответствуют современному развитию города.

Санкт-Петербург. Сонификация отличается от остальных городов сложным синтезом, наслаиванием и плотной ритмической структурой, что выделяет город как культурную столицу с многоликой и сложной историей. В мелодии также есть немного мистики и декаданса в шероховатой перкуссии, но в целом она создает светлое настроение.

Москва. Мелодия сочетает эмбиентные текстуры старинных улочек и архитектуры с электронными акцентами, передающими ритм и динамику мегаполиса, создавая аудиопортрет Москвы, где прошлое и настоящее гармонично переплетаются.

Дата-сонификация — мост между наукой, искусством и технологией, открывающий новые способы восприятия и осмысления информации. Этот метод позволяет не только анализировать данные, но и по-новому чувствовать их, превращать сухие цифры в живой эмоциональный опыт. Возможно, в будущем дата-сонификация станет таким же привычным инструментом, как визуализация данных сегодня.

1414
11
1 комментарий

Вау, как интересно! Больше всего понравился как звучит Питер)))

3