Эксперимент в Русском музее: эмоции музыканта напечатали на 3D-принтере

Российская биотех-лаборатория Neiry и художники проекта InsideOut.Imprint провели эксперимент по синтезу академической музыки и нейротехнологий. Команда поставила перед собой задачу исследовать, что чувствует исполнитель в момент игры. Для этого они использовали нейроинтерфейс Neiry, который считывал волновую активность головного мозга музыканта в момент исполнения им произведения.

Эксперимент по синтезу академической музыки и нейротехнологий

Данные о волновой активности головного мозга передавались с помощью API в компьютер, где за счет специального программного обеспечения сигналы преобразовывались в уникальные цифровые фигуры, а далее с помощью 3D-принтера — в керамические скульптуры. Форма и текстуры скульптур передают динамику и геометрию звука: в каждой скульптуре с помощью волн переданы время, мозговая активность, изменения громкости звука и длина произведения.

Во время перформанса мы можем наблюдать, как в реальном времени геометрия скульптур трансформируется под влиянием информации, получаемой от самого исполнителя. Данные о биоэлектрической активности мозга преобразуются в визуальные паттерны, формируя уникальный образ в каждый момент времени. Это очень живой и интересный процесс визуализации эмоционального переживания музыканта.
Марина Музыка, художница

Сигналы преобразовывались в уникальные цифровые фигуры, а далее с помощью 3D-принтера — в керамические скульптуры

Нейроинтерфейсы помогают нам считывать волновую активность мозга в режиме реального времени. Самый простой пример: во время игры у музыканта наблюдается повышение бета-ритма и одновременно снижение альфа-ритма головного мозга. С учетом автоматического отделения миографических артефактов мы можем судить о повышенной концентрации артиста в момент выступления.
Алексей Халезов, Neiry

В ходе перформанса современный композитор Настасья Хрущева исполнила фрагменты из своих произведений «Русские тупики» и «Книга печали и радости» в переложении для фортепиано. Это примеры новой академической музыки, где представлена широкая эмоциональная амплитуда.

Отпечатки каждого музыкального произведения стали частью выставочной композиции, которую все желающие могут увидеть до 10 марта на петербургской выставке «Модуляции: свет, движение, звук», организованной Центром Art & Science университета ИТМО в Государственном Русском музее в Санкт-Петербурге.

Перформанс прошел в рамках выставки «Модуляции: свет, звук, движение», организованной центром Art & Science Университета ИТМО и Государственным Русским музеем.

InsideOut.Imprint — это синтез академической музыки и современного искусства, работы художников и музыкантов.

Мария Купцова — Глубокие медиа
Дарья Смахтина (ἐphemera ONE) — Иммерсивная архитектура
Марина Музыка — Интерактивный дизайн
Идеолог проекта — Егор Звездин
Композитор и исполнитель — Настасья Хрущева
3D-Печать — Данил Карамушкин (Karamushkin_lab)
Технический эксперт — Илья Ревин
Продюсер — Егор Звездин и Марго Бор (ArtMix)
Кураторы выставки «Модуляции: свет, движение, звук» — Христина Отс и Сергей Костырко