Если вы хоть раз бывали на концерте, наверняка видели интерактивные анимации вокруг артиста, погружающие вас в особую атмосферу. Технологий, которые создают такие представления, не было еще 15 лет назад. О том, какой путь развития прошел мультимедийный продакшен за это время, рассказал Дмитрий Напольнов, технический директор студии Sila Sveta.
С чего начался видеомэппинг в России
Сцена «оживает», дополняясь огромными графическими проекциями, — так, что даже самые далекие от исполнителя зрители могут прочувствовать эмоции и атмосферу концерта. Сейчас это стало частью шоу, за которым идут зрители, но не все знают, как именно технологии пришли в нынешнюю точку развития.
Визуальным сопровождением концертов занимаются студии мультимедийного продакшена. Первая такая студия в России — Sila Sveta — появилась в 2008 году. Ранние «инсталляции» делали с помощью обычных слайдовых проекторов — устройства которые просто выводят изображение на поверхность. Сейчас их может приобрести любой желающий, устроив себе мини-кинотеатр в домашних условиях.
Sila Sveta обосновалась в маленькой студии на Бадаевском заводе — буквально несколько человек, еще никакой известности. Рядом был клуб «Крыша мира», и мы помогали друг другу: «Крыша» предоставляла офис, а мы взамен визуально оформляли их мероприятия.
В то время технологий для видеомэппинга просто не было — никаких медиасерверов, которые сейчас так облегчают создание инсталляций. Все упиралось в собственные технологические разработки и «наколеночный» код. Программное обеспечение писали сами, но ограничения не мешали делать масштабные и интересные работы.
Так, Sila Sveta делала перформанс с Анной Абалихиной — специалисты придумали концепт с движением танцора на фоне проекции на пол и стены. Для этого нужно было передвигать камеру и подстраивать контент в реальном времени, чтобы создать иллюзию, будто танцор перемещается в воздухе. Нашли ребят из Воронежа, которые помогли создать сетап для трекинга. XR-технология, когда артиста помещают на фон из диодных экранов, а контент подстраивается под камеру, чтобы создать виртуальный ландшафт, появилась гораздо позже.
Сильный толчок в развитии технологии видеомэппинга получили в пандемию: мероприятия перестали проводиться вживую и понадобилось развивать виртуальные пространства. В то время прогресс в мультимедийных технологиях дошел до очень высокого уровня, хотя Sila Sveta давно делала подобное, только другими инструментами. Одна из работ того времени — контент для виртуального концерта Билли Айлиш, который студия делала совместно с Moment Factory.
Изнанка видеомэппинга: технологии и инструменты
Гигантский паук на фото, как и многие другие работы студии Sila Sveta, сделаны с помощью диодных экранов. Они — один из векторов, куда движется индустрия: световая проекция стремительно теряет популярность, уступая место диоду. Причин несколько:
- производство диодов встало на поток, они стали появляться в разных устройствах — как итог, диодные экраны стали намного доступнее и дешевле,
- их научились делать с очень маленьким шагом пикселей, а значит, картинка может быть более детальной и реалистичной,
- такие экраны можно гнуть каким угодно образом. Иными словами, можно заказать диодный экран практически любой формы.
Изображение на диодном экране отличается от проекционного — оно более резкое, цифровое, в то время как проектор выдает ламповую, теплую картинку. Любители «ламповости» могут посетовать на прогресс, но преимущества диодных технологий неоспоримы: не нужно искать место для установки проектора, нет необходимости просчитывать, где светлая зона, а где может образоваться тень. Наконец, можно не опасаться, что в объектив проектора попадет лазер и сожжет матрицу.
Диодный экран — большой скачок в технологиях, и не только в индустрии видеомэппинга. В ближайшем будущем это коснется и рядовых потребителей. К примеру, домашние телевизоры через несколько лет будут выпускаться с диодными экранами: технология LCD доживает свои последние годы, как и проекторы.
LG недавно выпустила свою версию диодного экрана для кинотеатров Miraclass, а у Samsung уже целая линейка таких экранов. Это важный показатель, потому что кинопрокатчики больше всех критикуют качество экранного изображения. И если даже среди них зреет спрос на технологию, значит, она близка к совершенству.
Еще одно преимущество диодных экранов в том, что они собираются из кабинетов — блоков со световыми модулями. Можно скомпоновать сколько угодно кабинетов в один гигантский экран. Другое дело, что для его применения пока еще нет контента. Но, как показывает практика, контент всегда приходит вслед за технологией. Так, когда-то Full HD сменил HD, а ему на смену пришел 4К. Сейчас есть уже 8К, и объем контента в этом формате постепенно увеличивается.
Тренды современного шоу-мейкинга
Использование нейросетей
Как и во многих высокотехнологичных областях, искусственный интеллект в производстве шоу сегодня — главный тренд. Создатели шоу предвкушают тот момент, когда нейросети научатся адекватно генерировать видео — это станет настоящим прорывом в видеомэппинге. Мы видим, на что сегодня способна Midjourney, но одно дело — создать статичное изображение, другое — целую анимированную сцену. То, что генерируется сейчас, не отвечает требованиям серьезного продакшена, но прогресс не стоит на месте.
Подписывайтесь на Telegram-канал просветительского проекта «Истовый инженер» — там мы рассказываем истории изобретений, говорим об эволюции современных технологий и делимся занимательными фактами из инженерного мира.
В портфолио Sila Sveta есть проекты, графика которых полностью сделана на нейросетях, — например, Videocittà в Риме. Мы натянули большую проекционную сетку, разместили ее на историческом объекте и транслировали видеоконтент, который был изначально сгенерирован ИИ. Правда, без обработки после генерации не обошлось.
Генерация графики в реальном времени
Следующий этап — умение этой графики работать в паре с музыкой. Для этого нужны не только обученные нейросети, но и сверхбыстрые серверы. И мы видим, что «железо» из года в год становится все производительнее.
Все идет к тому, что в какой-то момент можно будет просто сказать компьютеру, какие ты хочешь визуалы, и он их моментально сгенерирует. Или, может быть, вскоре он сам будет понимать, что звучит романтическая мелодия, а значит — самое время создавать и транслировать более утонченную графику. Бесконечный генератор контента — кто бы мог представить себе такое еще несколько десятилетий назад!
Будущее — за креативными инженерами
Появляется все больше инструментов, которыми любой человек может пользоваться, чтобы избавиться от рутинных задач и освободить время для творчества. Поэтому самыми востребованными будут специалисты с креативным мышлением и творческими навыками.
Любая профессия будущего — это профессия креативная, потому что все некреативное будет заменено инструментами. Инструменты не умеют одного — быть людьми.
Никакой ChatGPT не подскажет сценарий действительно классной инсталляции, потому что у человека есть нейронные связи, которых нет у нейронных сетей. Они позволяют ему осознавать бренность этого мира и творчески перерабатывать ее во что-то интересное и значимое — в идею, которая всегда первична.
А вот когда уже есть интересная идея, можно спросить у ChatGPT: «Слушай, я придумал инсталляцию. Можешь набросать сценарий конкретного объекта?» И она создаст черновик, который можно будет расписать детальнее.
Моя мечта — это нейросеть, которая рисует по моему заданию, потому что у меня такого таланта нет. А в работе нередко нужно изобразить задуманное. В таких случаях мне приходится искать художника, пояснять ему задачу и контролировать исполнение. Когда нейросеть будет достаточно совершенна, я смогу делегировать эти задачи ей и сэкономлю много времени.
Инсталляции Sila Sveta: где посмотреть своими глазами
Если хотите вживую увидеть проект студии, вам стоит посетить Музей российских железных дорог в Санкт-Петербурге. Там мы создали инсталляцию «Стрелки времени». Это большой поворотный стол-барабан, как из телепередачи «Поле чудес». Вращая его, можно выбирать исторические периоды, про которые хочется узнать. Когда стрелка барабана останавливается на одном из секторов, на проекционных арках включается шоу.
В музеи больше не ходят для того, чтобы посмотреть на чучело лисы. Зритель хочет нарратив, историю, ему нужно рассказать, чем-то удивить, попытаться найти с ним контакт.
Эта инсталляция — сама по себе произведение инженерного искусства. Мы очень тщательно ее проектировали и собирали из лучших на тот момент немецких комплектующих. Там стоят приводы Beckhoff, создан контур безопасности на датчиках SICK, который останавливает инсталляцию, если кто-то из посетителей вдруг пересек траекторию ее движения. И все работает как швейцарские часы — за пять лет ни одной жалобы.
Подписывайтесь на блог «Истового инженера». Здесь мы продолжим делиться историями о технологиях на стыке с культурными феноменами.
Читайте также:
Даже не знала, что в музее РЖД есть такая классная инсталляция! Надо сходить