Виртуальный Давид и робот-поэт: как технологии изменили искусство?

Технологии двигают искусство вперед. Даже самые консервативные музеи разрабатывают онлайн-выставки, классические филармонические оркестры записывают треки с диджеями, а театры предлагают зрителям использовать во время спектаклей смартфоны. Мы собрали примеры проектов, которые с помощью нейросетей, дополненной реальности, машинного обучения и блокчейна делают искусство интерактивнее, доступнее и умнее.

МоМА в Нью-Йорке — одна из самых известных и богатых галерей современного искусства в мире, в марте этого года стала «жертвой» группы молодых художников-активистов MoMAR. Используя технологию Vuforia (позволяет распознавать и видоизменять объекты), они превратили зал с полотнами знаменитого американского художника Джексона Поллока в собственную выставку под названием «Привет, мы из интернета» («Hello, we’re from the internet»). Картины художников можно было увидеть через мобильное приложение, наведя камеру телефона на одну из работ Поллока. Технологии дополнительной реальности позволяли взаимодействовать с ними через экран: передвигать и переворачивать элементы, делать скриншоты.

Технологии дополненной реальности часто используют и за пределами галерей или музеев. Чайлдиш Гамбино, американский поп-исполнитель, объединился с Microsoft, чтобы создать виртуальный мир для своих слушателей. К выходу нового альбома «Awaken, My Love!» Гамбино построил вселенную, которая соединила в себе «физическое и цифровое, реальное и выдуманное», и назвал ее PHAROS. Поклонники, посетившие его концерт под огромным куполом в Калифорнийской пустыне, смогли стать частью этого мира на несколько часов.

Идея Гамбино заключалась в том, что его песни связаны одной историей и существуют в отдельном мире. Специалисты из Microsoft, используя Kinects (бесконтактные сенсорные игровые контроллеры, как, например, в Xbox 360), создали 3D модель музыканта в процессе выступления. Затем, с помощью анимации и компьютерной графики, они трансформировали ее в мистических персонажей, которые оживали в проекциях на куполе во время концерта и участвовали в представлении вместе с Гамбино.

Технологии меняют не только восприятие искусства, но и его создание. Виртуальная кисть Google Tilt Brush позволяет художнику использовать пространство вокруг себя как холст. Инструмент совместим с очками виртуальной реальности Oculus и HTC Vive и ничем не ограничивает воображение: в распоряжении пользователя все возможные цвета и материалы, от акрила и акварели до снега и огня. С готовой работой можно делать все, что угодно: переворачивать, крутить, ходить вокруг нее и даже выгружать в сеть в формате анимированного изображения, чтобы показать друзьям.

Технологии стремительно проникают не только в изобразительное искусство, но и в музыкальный мир. Существует уже несколько проектов, которые используют машинное обучение для создания музыкальных композиций. «Умные» алгоритмы, анализируя существующие произведения, постепенно учатся распознавать гармонии и генерировать музыку. Magenta — проект инженеров из Google Brain — облегчит написание музыки. Popgun — австралийский стартап с инвестициями из Силиконовой долины — планирует использовать искусственный интеллект для создания оригинальных поп-треков.

Наконец, Weav предлагает пользователям попробовать «адаптивную музыку»: программа использует технологию, которая незаметно подстраивает темп трека под действия слушателя. У Weav уже есть приложение для бега, которое адаптирует музыку под темп бегущего. По словам создателей, в будущем платформу можно будет использовать во время танцев, детских игр и секса.

Технологии виртуальной реальности перевернули наше представление о возможностях восприятия искусства и сделали его доступным даже для слабовидящих и слепых людей. Проект Touching masterpieces позволяет увидеть скульптуры с помощью специальных вибротактильных перчаток, воздействующих на нервные окончания. Благодаря широкому спектру вибраций и нескольким уровням восприятия (скульптуру можно потрогать кончиками пальцев, ладонью или всей рукой сразу) технология позволяет максимально детально изучить экспонат. Проект работает в Национальной галерее в Праге: там слабовидящие посетители могут«увидеть» бюст Нефертити, Венеру Милосскую и Давида Микеланджело.

Та же цель и у проекта 3D Photoworks: с помощью тактильной печати создатели трансформируют двухмерные картины в объемные полотна. Благодаря разным рельефам и текстурам посетители таких выставок могут ощутить все тонкости полотен. Некоторые экспонаты сопровождаются аудио-описанием, которое автоматически воспроизводится при прикосновении.

Ученые из США создали костюм, который позволяет глухим «слышать», а точнее, чувствовать музыку. Инженеры Not Impossible Labs разработали костюм (жилет, браслеты на запястья и лодыжки), который трансформирует звуки в вибрации и передает по телу, как импульсы. Надев его, человек с нарушениями слуха может не только «прослушать» любимый плейлист, но в полной мере прочувствовать атмосферу концерта и даже попробовать написать песню.

С развитием искусственных нейросетей компьютер начал создавать произведения искусства. Поэт Оскар Шварц и студент Бенджамин Лерд основали проект Bot or not — Тьюринг-тест для поэзии. Зайдя на сайт, любой может сыграть в игру «угадай, кто автор» — компьютер или человек. Один из авторов-ботов, например, JanusNode пишет не только стихи, но и слова к песням, хайку, генерирует полезные советы и словари.

Дизайнер Нахо Матсуда создала в Манчестере every thing every time — программу, которая превращает в стихи взаимодействие города и его жителей. Используя систему умного города CityVerve, Матсуда начала собирать информацию из разных источников, отслеживая погоду, пробки, работу общественного транспорта. В ее проекте жизнь в городе — перемещения его жителей, отмененные концерты, опаздывающие автобусы — становятся искусством и возвращаются к горожанам в форме анонимных стихотворений в парках, библиотеках и университетах.

«В every thing every time я превратила потоки информации в истории, рассказанные в стихах, лишив их геолокации и какой-либо практической цели. Полезная информация прекращается в непрактичную поэзию», — говорит автор проекта.

Продажи на мировых аукционах искусства растут в геометрической прогрессии, инвестиции исчисляются триллионами долларов. Несмотря на такую популярность, фактически рынок монополизирован аукционными домами Sotheby’s и Christie’s — они контролируют до 80% мировых продаж. Кроме того, из-за больших комиссий (до 25%), которые приходится доплачивать аукционному дому при покупке, позволить себе сделку могут только крупные галереи и состоятельные коллекционеры.

Эксперты из Сингапура, Великобритании и Аргентины — основатели программы Maecenas — решили сделать арт-маркет доступным для обычных людей, дать им возможность покупать акции известных произведений искусства.

Платформа использует блокчейн, чтобы децентрализовать арт-маркет, сделать процесс инвестирования и покупки арт-объектов прозрачнее и понятнее для галерей, коллекционеров и индивидуальных инвесторов. С помощью Maecenas любой, независимо от профессии, опыта и финансового положения, может стать акционером, например, одной из картин Моне. Кроме того, проект предоставит продавцам безопасную платформу для краудфандинга и привлечения инвесторов.