Трансляция будущего: виртуальная реальность и ИИ в кейсе Nornickel Digital Week 2024

Цифровые технологии проникают из шоу-бизнеса и в сферу образования. Корпоративный университет Норникеля — яркий пример того, как крупные компании используют инновационные подходы для обучения своих сотрудников.

На протяжении двух эфирных дней зрителей заряжали и вдохновляли внутренние эксперты-сотрудники «Норникеля». Темы были выбраны с акцентом на ключевые цифровые тренды: искусственный интеллект, machine learning, роботы и другие ИТ-технологии. Для нас было важно не только рассказать о том, что происходит в мире, но и «приземлить» эти знания на повестку компании: темы были ориентированы на решение реальных бизнес-задач и улучшение рабочих процессов.

В рамках проведения Nornickel Digital Week мы поговорили с ключевыми техническими исполнителями, диджитал-ниндзя и просто доблестными ребятами Magnum Digital Studio о том, как превратить конференцию в яркое событие в виртуальной реальности с ВАУ-эффектом всего за месяц.

Сложность заключалась в необычном формате и настройке виртуальной студии, чтобы в режиме онлайн не было сбоев в изображении. Команда была сильной — все возникающие вопросы оперативно решались в день репетиции, поэтому в день мероприятия всё прошло гладко.

В первую очередь мы искали опытную команду профессионалов, которые неоднократно реализовывали подобные проекты, знали, что может пойти не так, и заранее предусматривали всё, чтобы избежать неприятных сюрпризов. Также обращали внимание на парк оборудования, который соответствовал нашим требованиям по качеству, а также на размеры и наличие дополнительных помещений, таких как гримёрки, штаб и кухня.

Техническая команда состояла из 15 человек, из которых 8 были нашими специалистами. Это был оптимальный состав для мероприятия такого уровня:

- Менеджер проекта,

- Технический директор,

- Штабной специалист,

- Дизайнер студии,

- Оператор виртуального аватара,

- Актёр аватара,

- Режиссёр,

- Выпускающий режиссёр,

- Оператор-постановщик,

- Титровальщик,

- Оператор виртуальных камер,

- Оператор,

- Звукорежиссёр,

- Светоинженер,

- Гримёр

Для проекта мы разработали свою айдентику которая бы отражала диджитал направление и тему конференции. Была проведена большая аналитическая работа и подготовленно 6 вариантов дизайна. Один из которых лег в основу всех анимаций и дизайн виртуальной студии.

Для оформления данной конференции был выбран лаконичный стиль с акцентом на фон. Также дополнительной интересной деталью стало лого ивента и прием со сдвигом, который напоминает глич-эффект. В процессе разработки мы опирались на предыдущие конференции Норникель и стиль компании в целом, поэтому ставили акцент на светлую айдентику, но ребята выбрали темный вариант с пиксельной графикой. Поэтому ожидания не совпали. Тем не менее получилось круто, современно и ярко!

Разработав стилистику конференции мы приступили к отрисовке пакета графики. Мы полностью оформляли телеграм-бот, анонсные посты, емейл рассылку, новостной блок на сайте и шаблон презентации для спикеров. Далее готовили пакет графики на анимацию :титры, сплит экран, открывающее видео, транзишены, оформляли экраны трансляции. Наши ребята из Магнум уже анимировали все макеты.

Комментируют Motion-дизайнеры, Антон и Виталя

Для создания студии мы использовали Unreal Engine и Aximmetry, что позволило полностью контролировать процесс вещания и наложения виртуальных элементов. Большая часть студии была спроектирована с нуля, чтобы соответствовать нашей концепции.

Мы выбрали хромакей вместо XR, поскольку у нас не было задачи демонстрировать объекты с отражениями или преломлениями. Это позволило сосредоточиться на художественных задачах и обеспечить реалистичный пролёт камеры.

Все спецэффекты запускались в реальном времени, без предварительной записи. Это позволило нам максимально эффективно взаимодействовать с происходящим на экране.

Мы создали человекоподобного робота на базе Unreal Metahuman. Для анимации использовались инструменты MetaHuman Creator и Live Link, которые синхронизировали движения с реальными действиями актера, что добавило интерактивности трансляции. Сложнее всего было соединить скелет кастомной головы метахумана с кастомным телом, для этого используются сложные DNA файлы (буквально ДНК) чтобы можно было их "поженить".

Мы обошлись без специального костюма — программа с помощью нейросетей анализировала входной видеопоток и генерировала анимацию тела. Камера одновременно снимала лицо, анализировала эмоции, и вся информация поступала на аватар в реальном времени.

Процесс озвучки также проходил в реальном времени. Звукорежиссёр добавил задержку и искажение голоса, а у актёра, озвучивавшего робота, был хедсет, через который он передавал звук. 3D-аватар стал важной частью шоу, полноценным соведущим. Он не только взаимодействовал с модераторами, но и активно включал зрителей в процесс, что повысило вовлеченность аудитории. Аватар работал в прямом эфире, где им управлял специально обученный "пилот"

Комментирует Макс, разработчик

Бот был разработан с нуля, практически без внешних зависимостей, помимо, конечно, самих генеративных моделей.

Чаще всего модели обучают в паре - одна пытается выполнить задачу, а другая проверяет результаты первой, а потом их можно разъединить и использовать по отдельности. Так модель text-to-image, генерировала для нас визуализацию решений проблем будущего, а её модель "супервайзер" image-to-text генерировала описания для фотографий участников.

Идей было много, например, бот-теста Тьюринга, где пользователям надо угадать, общаются ли они с человеком или с нейронной сетью.

На удивление все отработало даже лучше, чем планировалось! При работе с нейронными сетями никогда нельзя быть уверенным, что они не начнут галлюцинировать и нести полную чепуху. Однако, грамотно подобранный промпт, тонко настроенные параметры модели и пара проверок на валидность творят чудеса.

Бот дал возможность людям, которые, возможно, ещё не успели сами, воспользоваться нейронками в игровом формате, посмотреть и "потрогать" генеративные модели. А удачно сгенерированные картинки и идеи даже выводили в прямой эфир.

После завершения мероприятия мы удалили чаты. Мы не сомневаемся в наших методах защиты, но понимаем, что это единственный стопроцентный способ. Нельзя украсть то, что нигде не хранится :)

Анна Армизонова, проректор по цифровому обучению Корпоративного университета

Мероприятие вызвало отклик у коллег, которые занимаются организацией похожих событий, как внутри «Норникеля», так и за его пределами. Что самое интересное, не все поняли, что студия ненастоящая. Настолько качественная картинка! Зрители в основном писали про контент — стабильно полезно и хорошо.

Роман Чураевский, ректор Корпоративного университета

Наши ожидания оправдались полностью. Об этом говорят и количество просмотров, и вовлечённость аудитории — подтверждая интерес аудитории, и активное взаимодействие разных отделов и департаментов внутри «Норникеля» — Nornickel Digital Week отличный кросс-функциональный проект, и обратная связь от коллег-экспертов — тот контент, который мы делаем, высокого качества.

-----------------------------------------------------------------------------------------------------------------------

Всем спасибо за прочтение! Оставляйте комментарии, поможем и проконсультируем. И, конечно, с удовольствием сделаем!

👾 Сайт компании magnum.design

👾 Суровый магнумовский Rutube. Есть похожие кейсы! https://rutube.ru/video/300a40c770a7b273f177326b6150a85e/

👾 И, куда же без него! TG-канал с нашими проектами и техногиковскими новостями https://t.me/magnumdigitalstudio