Евгений Тимащук
153

Как мы первыми в Европе сделали стадионное шоу с использованием допреальности

В 2018 году Eminem на фестивале Coachella поразил публику. Прямо во время выступления артиста перед глазами зрителей появлялись виртуальные объекты: на них падали вертолеты, в небо взлетали ракеты, и происходили ядерные взрывы. Дополненная реальность в 2018 году не была новостью. Подобные технологии и эффекты особенно часто использовались в телевизионных трансляциях гораздо раньше. Однако именно Eminem впервые для реализации своих задумок использовал возможности смартфонов и создал специальное мобильное приложение: зрители держали телефоны в руках и видели, как тематические элементы на экранах взаимодействовали со сценой и аудиторией.

В закладки

Спустя год на Церемониях открытия и закрытия II Европейских игр в Минске гостям также предложили скачать мобильное приложение на свои смартфоны. Кроме театрализованного представления, звукового и светового шоу, зрители Европейских игр-2019 могли наблюдать вспомогательные элементы шоу с использованием технологии дополненной реальности: огнедышащего дракона Цмока, стадо бизонов, водоворот из светлячков и другие объекты. Более 44 000 зрителей в зале и 500 млн телезрителей со всех уголков планеты стали свидетелями грандиозных шоу, в которых была использована синхронизация AR-эффектов сразу с мобильным приложением, телевизионной трансляцией и стадионным шоу— так, мы стали первой российской компанией, кто применил дополненную реальность на стадионном шоу.

Евгений Тимащук, исполнительный директор компании Sechenov.com и эксперт мастерской режиссуры шоу «Основано на реальных событиях», рассказывает, как команде удалось это сделать.

Обзор на 360° и приложение дополненной реальности

Главное отличие сделанного нами и ранее не существовавшего в нашей индустрии в том, что это была дополненная реальность на стадионном шоу. Стадион имеет свою специфику и сложности прежде всего из-за обзора на 360°. Концертные залы обычно имеют фронтальное расположение сцены, а стадион — это обзор по кругу.

Второе отличие в том, что мы разработали для смартфонов специальное приложение дополненной реальности Opening Ceremony AR Experience и синхронизировали дополненную реальность одновременно на мобильных устройствах, стадионе и в прямой трансляции по телевидению — это было непросто. Всего программа Церемоний открытия и закрытия игр включала порядка десяти AR-эпизодов, часть из них попала в телетрансляцию, а часть можно было наблюдать, только находясь на стадионе.

Церемония Открытия и Закрытия II Европейских игр в цифрах:

Год проведения: 2019

Город: Минск (Беларусь)

Вместимость стадиона «Динамо»: 22 000 человек

Общее число зрителей: 44 000

Прямая ТВ-трансляция в 148 странах

500 млн телезрителей


Нам нужно было решить одну важную задачу — как сообщить пользователю приложения о том, в каком конкретно эпизоде мы находимся? Для ее решения, прежде всего, требовался бесперебойный интернет. Использовать мобильный интернет мы не могли, поскольку не было гарантии, что при таком количестве подключений он вообще будет работать. Поэтому нам пришлось разработать собственную уникальную технологию, по которой мы синхронизировали контент дополненной реальности с контентом на стадионе.

Наша разработка была основана на базе наработок и исследований, но в комплексе этот продукт был разработан специально под Европейские игры в Минске и потом адаптирован под Мировой Чемпионат рабочих профессий и специальность по стандартам WorldSkills-2019.

Что происходило на стадионе в Минске

Церемония открытия II Европейских игр была посвящена истории и культуре Беларуси. Шоу «Когда цветет папоротник» началось с легенды о языческом празднике Купалье, затем зрители путешествовали по историческим вехам Беларуси от глубокого прошлого до настоящего момента. Мы постарались максимально вовлечь зрителей в происходящее, и достичь этих целей нам помогло в том числе приложение дополненной реальности. Так, например, во время выноса на стадион флага страны в дополненной реальности прилетела стая белых аистов, которые являются символом Беларуси: два из них садились в гнездо, «свитое» поверх центральной сцены, и встречали детей, которые несли флаг. В эпизоде Легенды и Предания, в момент повествования истории о драконе Цмоке, он собственной персоной пролетел над стадионом и обдал зрителей пламенем. А в эпизоде о знаменитых художниках из экранов на сцене в небо взмывали полотна художника Бакста. В эпизоде про Беловежскую пущу под ритмичные удары барабанов по небу пронеслось стадо зубров — еще одного неофициального символа Беларуси.

На церемонии Закрытия был всего один эпизод с дополненной реальности — зажжение олимпийского огня в чаше, которая была исполнена в виде цветка папоротника, способного исполнять заветные мечты. Буквально за несколько минут до того, как пламя игр должно было погаснуть, в чаше огня в дополненной реальности распустился цветок папоротника и выпустил облако семян, которые разлетались по всему стадиону, как бы прощаясь со зрителями. Каждый обладатель смартфона мог «дотянуться» до парящих вокруг него магических сверкающих семян и загадать свое желание. А под финальные ноты заключительной песни семена взмыли в небо.

Сложности в применении AR-реальности в стадионном шоу

Как я уже говорил выше, самым сложным испытанием была необходимость в точной синхронизации всех устройств по времени с происходящим на стадионе. Если для телевещания уже существует стандартная система оффлайн-синхронизации, то для мобильных платформ таких нет. Нам нужно было создать инфраструктуру синхронизации через интернет, и это создавало ряд возможных проблем. Мы опасались, что мобильная сеть не выдержит, а аренда серверной части, способной выдержать такую пиковую нагрузку, оказалась бы очень дорогой.

Наши коллеги разработали решения по синхронизации мобильных устройств по звуковой дорожке — когда телефон слышит аудиотрек и «понимает» его время. Мы переживали, что могут возникнуть проблемы, но после первых тестов стала понятно, что все опасения были напрасны.

При работе над стадионным шоу, в котором в том числе используются AR-элементы, дополнительную сложность представляет собой освещение. Церемония открытия начиналась еще до захода солнца, поэтому освещение динамически менялось примерно первую четверть мероприятия; световая партитура церемоний включала более сотни источников по периметру стадиона. Все эти условия создавали проблемы при «посадке» картинки в реальный свет, чтобы накладываемые изображения дополненной реальности реалистично вписывались в кадр.

Проверка на прочность

Вся работа над шоу велась семь месяцев, и на протяжении всего этого срока мы отдельно тестировали наши разработки. Например, если нам нужно было протестировать синхронизацию, то мы это делали на других наших проектах. Если нужно было проверить нагрузку на мобильный телефон, мы тестировали ее без каких-либо проектов, просто придумывая какие-то сцены. Полностью шоу дополненной реальности прогоняли на генеральных репетициях и предварительных прогонах уже в Минске.

Первые тесты на стадионе в Минске

Большую опасность для нас представляло именно мобильное приложение, а точнее загрузка возможных обновлений, которые мы внедряли после прогонов. По условиям AppStore и Google Play, каждое обновление могло загружаться и сутки и трое. Поэтому финальные правки в приложение мы могли внести за три дня до мероприятия.

Как мы работали со зрителем

Как только мы решили, что будем использовать дополненную реальность, мы установили в приложении Европейских игр ссылку на наше приложение, которое нужно было скачать. Кроме этого, во время разогрева уже на самих Церемониях, когда ведущий рассказывал, что будет происходить сегодня, он повторно предлагал зрителям скачать приложение. Во время самого шоу зрителям сообщалось, что сейчас будет сюжет с дополненной реальностью. На смартфоны регулярно приходили пуш-уведомления — в общем, не заметить, не скачать и потом не увидеть дополненную реальность было просто невозможно.

Будущее шоу и будущее AR

AR открывает дополнительные возможности для режиссеров и постановщиков. Да, безусловно, невозможно сегодня представить зрителя без смартфона в руке. Пять лет назад, когда мы только об этом задумывались, мне казалось, что невозможно заставить зрителя смотреть на что-то через, условно говоря, какой-то гаджет. Нам казалось, что это будет неудобно и неинтересно. Уже через два года мы поняли, что все концерты сегодня смотрят через телефон, записывают фрагменты и потом выкладывают в свои соцсети. Обычно в индустрии все происходит одномоментно и одновременно: мы увидели, потом кто-то еще увидел, и как результат — большое количество роликов с разным использованием этих технологий. Дополненная реальность — это хороший инструмент, ещё одна краска происходящего, но возможности AR никогда не заменят шоу. Нельзя AR вывести по смысловому и эмоциональному содержанию на уровень шоу, происходящего прямо сейчас и прямо перед твоими глазами. Поэтому не стоит надеяться, что наступит день, когда можно будет все перенести в дополненную реальность.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Евгений Тимащук", "author_type": "self", "tags": [], "comments": 0, "likes": 0, "favorites": 0, "is_advertisement": false, "subsite_label": "unknown", "id": 114664, "is_wide": true, "is_ugc": true, "date": "Wed, 25 Mar 2020 16:22:57 +0300", "is_special": false }
0
Комментариев нет
Популярные
По порядку

Прямой эфир