Мы сделали 3D-модель менеджера по продукту vc.ru

Узнали, как сканируют людей и животных для фильмов и игр, сколько это стоит, а также послушали интересные истории о создании модели лося и других кейсах.

Материал подготовлен при поддержке Twin3D

Московская студия Twin3D создаёт 3D-модели людей и животных для фильмов, игр, клипов, рекламы и других медиапроектов. При этом само моделирование происходит не в классических 3D-редакторах, а при помощи сканера, который фотографирует объект одновременно с 360 градусов. Так студия создаёт цифровые версии реальных объектов. Два главных достоинства этого подхода — скорость сканирования, которое занимает меньше секунды, и высокая фотореалистичность, которую сложно достичь иными способами.

Мы съездили к Twin3D, чтобы сделать цифрового аватара менеджера по продукту vc.ru Филиппа Концаренко и посмотреть, как это происходит. А потом основатель студии Алексей Белокопытов рассказал об интересных кейсах и поделился планами по развитию бизнеса. Далее — его прямая речь.

Чаще всего мы работаем с тремя типами заказчиков. Во-первых, это кино и видеопродакшен — сюда относятся крупные исторические и фантастические фильмы, музыкальные клипы, реклама и любое другое видео, в котором нужны 3D-модели. На российском рынке не так много компаний, которые занимаются сканированием по методу фотограмметрии. Поэтому мы участвуем в съёмках большинства отечественных фильмов со спецэффектами.

Во-вторых, мы тесно работаем с игровыми студиями, которые создают проекты с фотореалистичной графикой. К сожалению, с ними очень строгий NDA, поэтому мы не сможем раскрыть каких-либо подробностей. В-третьих, это разнообразные инди-проекты — особенно популярны игры и приложения с технологиями AR/VR/XR, а также создание цифровой оболочки для голосового помощника.

Описать сам процесс сканирования довольно просто — вокруг объекта под определённым углом выставляются зеркальные камеры, которые одновременно делают снимок. Затем мы в специальной программе из этих фотографий создаём полноценную модель. Дальше всё зависит от желания заказчика — кому-то достаточно лишь массива фотографий, а другим нужна полностью анимированная модель. И мы готовы предоставить результаты любого этапа создания модели.

Сейчас в нашем сканере более 170 DSLR-камер — мы постепенно увеличивали этот показатель, потому что за счёт этого растёт детализация моделей. Но на нынешнем уровне пока нет необходимости идти дальше — мы не можем представить проект, в котором потребуется более высокое качество, чем есть сейчас.

Несмотря на простоту описания процесса сканирования, в действительности всё значительно труднее. И дело не только в сложности технического процесса — многое зависит от качества подготовки. Она начинается на самом раннем этапе, когда заказчик только приходит со своей идеей. При обсуждении задачи важно узнать все условия и детали, потому что от этого будет зависеть результат.

Один из наиболее показательных примеров — наша работа над фильмом «Союз спасения». Нам нужно было выехать со всем оборудованием в Санкт-Петербург и отсканировать около тысячи актёров массовки в исторических костюмах. Чтобы организовать всё это, потребовалось много усилий — именно мы организовывали перевозку оборудования на машинах, занимались размещением камер, следили за тем, чтобы все актёры прошли сканирование, и так далее.

Некоторые сложности самого сканирования были связаны со спецификой костюмов — сканер плохо воспринимает блестящие, тёмные и прозрачные элементы одежды. Чтобы снизить блеск металлических элементов, мы используем матирующее средство, а на тёмную одежду прикрепляем специальные метки — они помогают программе правильно определить форму объекта. Поэтому нам было важно заранее посчитать объём этих расходников.

Другая сложность была связана со сканированием лошади — в фильме были сцены, когда животные падали на льду. Очевидно, что нельзя было снимать это вживую, поэтому авторы решили использовать 3D-модели.

Чтобы отсканировать лошадь, нам пришлось значительно изменить расстановку камер и поставить их овалом вокруг животного. У нас были опасения насчёт этого — камеры хрупкие, а вспышка во время сканирования могла напугать лошадь. Но на съёмках фильмов используют специально обученных животных, которые готовы к стрессовым ситуациям — и к неудобным костюмам, и к ярким вспышкам, и к громкому шуму, поэтому всё прошло отлично.

Само сканирование мы проводили во временном шатре совсем рядом с Дворцовой площадью. У нас ушла на это примерно неделя, а модели были готовы через месяц. Чтобы сделать такое количество реалистичных моделей вручную, пришлось бы потратить несоизмеримо больше времени и сил.

Такие выезды — не редкость: заказчикам значительно проще позвать нас на съёмки, чем везти всех актёров в костюмах к нам в офис, и это даже не говоря о лошади. Кроме того, мы не ограничиваемся лишь Москвой, и готовы выехать не только в другой регион, но и в другую страну.

Когда сканирование выполнено, и массив фотографий готов, можно приступать к моделированию. Это достаточно ресурсоёмкий процесс, поэтому мощности одного компьютера недостаточно — у нас есть специальный сервер, на котором фотографии совмещаются воедино.

Сперва создаётся high-poly модель: её особенность заключается в том, что она сделана из большого количества полигонов (до 10 миллионов), и её можно использовать только для статичных моделей. При этом весит такая модель около 800 мегабайт, но этот показатель зависит от сложности формы.

Такие модели мы делали, например, для титров фильма «Вторжение» Фёдора Бондарчука. Так как изначально задумывались статичные модели, нам пришлось сканировать актёров в тех самых динамичных позах, в которых они показаны в фильме. Мы построили специальные конструкции, которые помогали актёрам держаться в нужном положении. А для одной лежачей позы нам даже пришлось соорудить специальную платформу.

Для ещё одного проекта нам нужно было сделать статичную модель ворона в полёте. И это было совсем не просто! Мы сделали так, чтобы ворон в пределах сканера перелетал с одного места на другое. В момент полёта мы делали снимок и смотрели, получилось ли заснять подходящую позу. В итоге мы потратили на это около двух часов — только после множества попыток мы запечатлели нужный момент.

Если же требуется анимированная модель, которая сможет двигаться, то нужно перевести high-poly в low-poly — низкополигональную модель, которая состоит в среднем из 20 тысяч полигонов. Несмотря на огромную разницу в количестве полигонов, качество модели не снижается. Главная особенность low-poly заключается в том, что её можно анимировать — на неё накладывается скелет, который закрепляется за разными частями тела, благодаря чему они могут адекватно и реалистично двигаться.

Немного иначе происходит анимирование лица. Так как мимика у разных людей сильно отличается, важно сохранить эти особенности в 3D-модели. Для этого на этапе сканирования на лицо наносятся дополнительные метки, которые помогают точнее передать его форму, а сам человек должен изобразить несколько эмоций (гнев, радость, печаль и так далее) и произнести фонемы (буквы «а, о, и»). Это позволяет правильно передать все тонкости и особенности мимики человека.

Также есть элементы, которые по разным причинам создаются отдельно. Во-первых, это волосы, потому что сканер воспринимает их как плоскость, из-за чего их нельзя правильно анимировать. Во-вторых, глаза, потому что их значительная часть скрыта за веками. В-третьих, полость рта — очевидно, что сканер просто физически не может отсканировать эту часть.

Затем всё это собирается воедино и создаётся полноценная анимация лица, которую можно использовать в любых сценах.

Итоговый результат всегда зависит от того, чего хочет заказчик. Это может быть: массив фотографий, высокополигональная статичная модель, низкополигональная анимированная модель, анимация лица или полностью анимированная и готовая модель, которую можно сразу же вставить в свой проект.

Конечно, у нас есть и расширенный список услуг. Например, мы сканируем реквизит, консультируем по поводу использования таких технологий. При этом зачастую требования заказчиков выходят за рамки стандартного сканирования, и тогда нам приходится применять смекалку. Например, для фильма «Сердце Пармы» нужно было отсканировать лося. Но с настоящим лосем это сделать нереально — его трудно найти и ещё сложнее удержать в покое. Поэтому мы решили загримировать коня: добавили ему горб и рога. К сожалению, фотографии со съёмок остались только в виде сторис в Instagram.

Сейчас мы сотрудничаем почти со всеми киностудиями в России, которые используют компьютерную графику в своих фильмах. Мы делаем модели для клипов, а также для видеоигр с реалистичной графикой. В нашем основном сканере больше 170 камер — это обеспечивает очень высокое качество финальной модели. Но мы не собираемся на этом останавливаться и планируем добавить и другие технологии.

Первый проект, который мы планируем запустить в этом году — light stage — сканер для лица, который позволит сделать модель с любым типом освещения. Это востребовано по одной простой причине — именно неправильное освещение на фотореалистичной модели создаёт эффект «зловещей долины» и выдаёт, что это цифровая копия, а не реальный актёр. Для решения этой проблемы мы задумали создать специальный сканер, в котором помимо камер есть большое количество светодиодных лампочек.

Принцип работы этого сканера также просто описать — камеры вместе с лампочками выставляются полукругом, а затем делается серия снимков с разным типом освещения — светодиоды загораются в определённом порядке, чтобы создать 200 вариантов освещения лица.

В результате такую модель лица можно поставить в любую сцену и выставить освещение так, чтобы цифровой человек ничем не выделялся на фоне реальных актёров.

Наш второй проект можно назвать ещё более амбициозным. Сейчас мы работаем над созданием «цифровых людей» — полностью анимированных моделей со своим искусственным интеллектом. Использовать такие модели можно в самых разных сферах — в качестве диктора новостей, актёра, каскадёра, видеоблогера, оболочки для ИИ и так далее.

Нейросеть сможет самостоятельно создавать необходимый контент. Например, будет достаточно вбить нужный текст, и она самостоятельно проговорит его как полноценный диктор. Также можно будет задавать сценарии — мы подготовим определённый набор действий, которые модель сможет выполнять, и их можно будет выстраивать в последовательные цепочки.

Такие модели могут выступать в качестве амбассадоров разных брендов. Например, можно задать нейросети количество постов в день, и она автоматически будет создавать контент — рекламировать товары, показывать на себе новые аксессуары, одежду и так далее. Она же сможет переводить контент на разные языки.

Также мы занимаемся автоматизацией процесса создания 3D-аватаров. Для этих целей сформирована команда специалистов по Data Science, программистов и инженеров. Мы разрабатываем технологию, которая совместит наши наработки в фотограмметрии и нейросеть, что позволит получать готовые аватары AAA-качества за доли секунды.

Сейчас мы находимся на таком этапе развития, когда полностью наладили пайплайн работы и готовы переходить на международный уровень. Качество наших моделей не уступает западным стандартам, поэтому такой рост — лишь вопрос времени. Мы с нетерпением ждём, когда мы и другие российские студии появимся в титрах самых кассовых фильмов мира.