AR и Virtual Production. Технологические решения для онлайн ивентов

Пандемия перевела большую часть нашей жизни в онлайн и мы уверены, что вы тоже устали от стандартных онлайн ивентов с говорящими головами в Зуме за последние полгода. Мы в Phygitalism тоже организовывали мероприятия в карантин, но всегда старались подойти к этому творчески. В этом материале расскажем вам про подготовку прямого эфира с использованием дополненной реальности и virtual production.

Прежде чем углубляться в технологические детали, стоит рассказать о самом мероприятии. Phygital nights - это образовательные вечеринки, которые мы устраиваем в своем Штабе. Дружеская атмосфера, разговоры о технологиях, музыка и вино. На каждой такой вечеринке мы стараемся предлагать новые интересные и технологические решения, приглашать интересных спикеров и, конечно, вести трансляции.

В этот раз мы пригласили медиа директора Яндекс, Даниила Трабуна, обсудить технологические тренды 2021, обсудить ключевые события ушедшего года и дать прогноз на 2021.

Традиционно Phygital Nights был оффлайн мероприятием и проходил несколько раз в год. В 2020 из-за ковидных ограничений нам пришлось выводить мероприятие в онлайн. При этом не хотелось, чтобы это был скучный вебинар в Зуме, от которых люди устали еще весной.

Первый Nights мы провели в виртуальной реальности. Мероприятие можно было посетить используя собственные VR шлемы, или посмотреть Youtube трансляцию.

Получив хорошие отзывы после весенней трансляции, мы решили найти новое интересное решение для зимней вечеринки. На этот раз мы хотели интегрировать спикеров и контент из презентации в одну реальность. Перед нами стояла интересная задача, достойная крупной продакшн студии с крутым оборудованием, но мы знаем, что нет ничего невозможного, даже при ограниченных ресурсах.

Итак, зная желаемую конечную цель, мы сконцентрировались на шагах по достижению результата. Мы рассмотрим каждый шаг подготовки для лучшего понимания, на каких технологиях и каким способом была организована работа.

Способов трансляции 3D контента в прямом эфире достаточно много, однако большинство их них либо технологически трудозатратные, либо достаточно дорогие. Но все это в целом называется простым термином — Virtual Production.

Когда речь заходит о новых технологиях с применением технологий Unity, стоит обратить внимание на разработчика и евангелиста Unity — Keijiro. Он специализируется на том, что исследует новые механики и публикует исходный код своих решений для того, чтобы другие могли пользоваться его разработками и улучшать их.

Сайт Keijiro

GitHub репозиторий проектов

В сентябре 2020 года Keijiro вел разработку RCam2. Это его вторая попытка создания приложения с применением AR эффектов в реальном времени с помощью Unity. Однако если в первой разработке использовалась абсолютно любая камера и трекинг был не самый лучший, то во второй его попытке используется уже iPad Pro 12 оснащенный сканером Lidar.

Цель создания подобного приложения — организация прямой трансляции выступления DJ’ев с их музыкальными сетами и наложением эффектов в дополненной реальности в реалтайм на музыкальном фестивале Boiler Room.

RCam2 — это приложение, которые передает огромное количество данных с iPad на компьютер, который обрабатывает всю графику используя высокую мощность видеокарты RTX 2080. Если возникает вопрос, почему же нельзя обрабатывать графику сразу на iPad Pro 12, то объяснение достаточно простое — VFX эффекты работают с помощью Visual Effect Graph системы, а также High Definition Render Pipeline у Unity. iPad передает данные о пространстве с картой глубины, Body Tracking, Face tracking и другие данные, которые можно использовать для визуализации.

Главная проблема RCam2 — это сами данные и их объем. Для их передачи необходимо использовать сразу два приложения:

Для совместной работы обоих приложений используется NDI SKD. Это ПО позволяет передавать видеопоток по WiFi или же по Ethernet кабелю.

При первых тестах и соединению по WiFi мы столкнулись с проблемой — видеопоток передавался с большой задержкой сигнала, что сводилось к невозможному проведению прямого эфира. О данной проблеме Keijiro было известно и он же предложил решение: использовать адаптер Type-C > Ethernet для создания прямого соединения между iPad и компьютером, значительно увеличив пропускную способность видеосигнала. Сам адаптер должен обладать USB 3.0 интерфейсом и пропускной способность до 1000 mb/sec. Данные параметры были проверены на личном опыте.

Так или иначе, в стандартном использовании разработка Keijiro работает полностью «из коробки», если соблюдены следующие условия:

Для Phygital Nights мы подготовили сценарий, который показывал примерный ход всей дискуссии спикера и гостя. Сценарий был представлен в виде таблицы, где в хронологическом порядке располагались технологии, примеры и контент, о котором будет идти речь. Именно с помощью данного документа, нам удалось подготовить несколько примеров в виде 3D моделей, эффектов и т.д. и обновить приложение Keijiro.

Итак, что из себя представлял контент:

1. Модель Travis Scott — К нашей удаче, на площадке Sketchfab мы нашли модель Трэвиса Скотта, которая была в игре Fortnite, когда он устраивал свой онлайн концерт. Единственный момент — модель была статичная, а хотелось, чтобы она еще и двигалась, танцевала, как это и было на настоящем концерте во Fortnite. Для этого есть подходящий инструмент — Mixamo. Данный сайт-программа позволяет загружать любую 3D модель гуманоидного типа и генерировать для нее “скелет анимации” (Rig — это в прямом смысле слова набор костей 3D модели, что дает ей информацию, как должны двигаться те или иные части тела. Также скелет симулирует поведение суставов, инверсную кинематику и все остальное, что помогает достигнуть правдоподобных движений 3D моделей). Все что осталось сделать на сайте Mixamo после генерации скелета — это выбрать понравившуюся анимацию и скачать новую модель.

2. 360 Burning Man — Изначально мы хотели показать Burning Man 2020, который перенесли в онлайн по понятной причине. Но после ознакомления с материалом нам показалось, что это будет выглядеть непонятно и не так зрелищно, как хотелось бы. Было принято решение скачать 360 видео с фестиваля прошлых лет и запустить его на фоне спикеров, сделав эффект присутствия на фестивале. Как раз с этой задачей прекрасно справился iPad Pro и RCam2, позволяя вырезать все, кроме человеческих очертаний (Occlusion body).

3. RCam2 от Keijiro — конечно, главной фишкой всей трансляции были визуальные эффекты на протяжении всей трансляции, которые создавались приложением RCam2 от Keijiro. Приложение позволяло нам проецировать различные эффекты на телах людей, в окружающем пространстве, различные пост процессинг эффекты и т.д. Иными словами — в наших руках была полноценная камера VJ оператора, которая управляла всеми эффектами.

4. Rita Ora — еще одна 3D модель, которую мы захотели продемонстрировать, однако для нее было уже сложнее найти готовое или полуготовое решение. Мы не хотели повторяться и поэтому решили сгенерировать свою собственную 3D модель, используя лишь одну фотографию, скачанную из интернета. PiFu HD — это алгоритм нейронной сети, который позволяет создать 3D модель человека основываясь на фотографии. Благодаря этому, нам удалось как продемонстрировать 3D контент в дополненной реальности, так и механику 2D to 3D являющуюся трендовой.

5. Цифровая копия Штаба — Штаб - это место, где мы работаем и проводим свои веселые вечера. Для реализации и создания использовалась его цифровая копия, которая была засинхронена в положении с реальным штабом. Сделано это было, в основном, для подстраховки. Так как некоторый 3D контент мог плохо выглядеть в нашей реальности (например он был слишком велик или же наоборот мал, или мог “застрять” в стене, отчего его не было бы видно)

Таким образом, у нас была камера, которая включала в себя сразу множество функций и работу с контентом:

Основываясь на опыте проведения Phygital Nights в VR, центр управления трансляцией мы начали устанавливать за два дня, до самого мероприятия. Так как необходимо было проверить все, с чем могут возникнуть трудности.

Интернет. Самая важная часть в прямой трансляции, это конечно же стабильное интернет соединение. Если ваше интернет соединение плохого качества, то изображение будет плохим, появятся заторможенности трансляции и т.д. Рекомендуемая скорость интернет соединения будет зависеть от выходящего разрешения вашего видео. YouTube предоставляет исчерпывающую информацию с рекомендациям к прямой трансляции по данной ссылке. В ней как раз можно ознакомиться, какие настройки для 4К трансляции должны быть выставлены в приложении (в нашем случае, это OBS Studio) для стабильной передачи сигнала.

OBS Studio — приложений для ведения прямой трансляции достаточно много и сложно сразу выбрать, какое из них удобнее и практичнее. На наш взгляд, OBS Studio закрывает большинство потребностей по настройки композиции кадра и источников захвата. Так, в нашем случае, было несколько разных сцен с разными настройками, между которыми мы переключались и меняли ракурсы камеры и т.д. Задача оператора, который сидел за центром управления трансляцией — переключение между этими сценами исходя их сценария и хода дискуссии.

Камеры и веб-камеры. Мы использовали два Kinect 2.0 для захвата видео. В идеале съемка должна происходить на профессиональные видеокамеры, однако в таком случае поток данных будет еще больше и нагрузка на интернет окажется существенной.

В прошлой статье о Phygital Nights в VR мы писали, как смена формата позволила сократить количество людей, ответственных за проведения мероприятия.

Мы вели фотофиксацию мероприятия, чтобы показать наглядно, как нам удалось совместить физическое мероприятие с цифровым контентом, в очередной раз создав интересный микс.

Мы собрали статистику по подготовке мероприятия в онлайн и офлайн форматах. Мы намеренно разделили запись и прямой эфир, так как многие досматривают трансляцию в записи - это помогает понять более точно, насколько контент актуален для аудитории.

В 2020 году каждая компания столкнулась с экстренной цифровизацией и переводом большинства активностей в онлайн. Многие стали активно проводить вебинары, круглые столы онлайн и конференции, но аудитории быстро приелся формат “говорящих голов”.

Наш опыт показал, что не боясь экспериментов, можно найти решение которое будет свежим, эффективным и даже менее трудозатратным, чем офлайн ивент. Новый формат прямого эфира с дополненной реальностью в два раза превысил посещаемость и досматриваемость материала в записи по сравнению с обычными вебинарами. Как плюс, мы получили и до сих пор получаем отличный фидбек от зрителей.

Поэтому если вы решили организовать свое онлайн мероприятие, посмотрите в сторону технологий дополненной и виртуальной реальности, а также virtual production, которые уже активно взяли на вооружение крупные компании.