Конкурс инструкций

Мы сделали 3D-модель менеджера по продукту vc.ru

Узнали, как сканируют людей и животных для фильмов и игр, сколько это стоит, а также послушали интересные истории о создании модели лося и других кейсах.

Материал подготовлен при поддержке Twin3D

Московская студия Twin3D создаёт 3D-модели людей и животных для фильмов, игр, клипов, рекламы и других медиапроектов. При этом само моделирование происходит не в классических 3D-редакторах, а при помощи сканера, который фотографирует объект одновременно с 360 градусов. Так студия создаёт цифровые версии реальных объектов. Два главных достоинства этого подхода — скорость сканирования, которое занимает меньше секунды, и высокая фотореалистичность, которую сложно достичь иными способами.

Мы съездили к Twin3D, чтобы сделать цифрового аватара менеджера по продукту vc.ru Филиппа Концаренко и посмотреть, как это происходит. А потом основатель студии Алексей Белокопытов рассказал об интересных кейсах и поделился планами по развитию бизнеса. Далее — его прямая речь.

Как проходит процесс сканирования

Чаще всего мы работаем с тремя типами заказчиков. Во-первых, это кино и видеопродакшен — сюда относятся крупные исторические и фантастические фильмы, музыкальные клипы, реклама и любое другое видео, в котором нужны 3D-модели. На российском рынке не так много компаний, которые занимаются сканированием по методу фотограмметрии. Поэтому мы участвуем в съёмках большинства отечественных фильмов со спецэффектами.

Во-вторых, мы тесно работаем с игровыми студиями, которые создают проекты с фотореалистичной графикой. К сожалению, с ними очень строгий NDA, поэтому мы не сможем раскрыть каких-либо подробностей. В-третьих, это разнообразные инди-проекты — особенно популярны игры и приложения с технологиями AR/VR/XR, а также создание цифровой оболочки для голосового помощника.

Алексей Белокопытов, глава Twin3D

Описать сам процесс сканирования довольно просто — вокруг объекта под определённым углом выставляются зеркальные камеры, которые одновременно делают снимок. Затем мы в специальной программе из этих фотографий создаём полноценную модель. Дальше всё зависит от желания заказчика — кому-то достаточно лишь массива фотографий, а другим нужна полностью анимированная модель. И мы готовы предоставить результаты любого этапа создания модели.

Сейчас в нашем сканере более 170 DSLR-камер — мы постепенно увеличивали этот показатель, потому что за счёт этого растёт детализация моделей. Но на нынешнем уровне пока нет необходимости идти дальше — мы не можем представить проект, в котором потребуется более высокое качество, чем есть сейчас.

Сам сканер — это сложная система, которая состоит из камер, импульсного света и нескольких компьютеров, которые поддерживают её работу

Несмотря на простоту описания процесса сканирования, в действительности всё значительно труднее. И дело не только в сложности технического процесса — многое зависит от качества подготовки. Она начинается на самом раннем этапе, когда заказчик только приходит со своей идеей. При обсуждении задачи важно узнать все условия и детали, потому что от этого будет зависеть результат.

Один из наиболее показательных примеров — наша работа над фильмом «Союз спасения». Нам нужно было выехать со всем оборудованием в Санкт-Петербург и отсканировать около тысячи актёров массовки в исторических костюмах. Чтобы организовать всё это, потребовалось много усилий — именно мы организовывали перевозку оборудования на машинах, занимались размещением камер, следили за тем, чтобы все актёры прошли сканирование, и так далее.

Некоторые сложности самого сканирования были связаны со спецификой костюмов — сканер плохо воспринимает блестящие, тёмные и прозрачные элементы одежды. Чтобы снизить блеск металлических элементов, мы используем матирующее средство, а на тёмную одежду прикрепляем специальные метки — они помогают программе правильно определить форму объекта. Поэтому нам было важно заранее посчитать объём этих расходников.

Другая сложность была связана со сканированием лошади — в фильме были сцены, когда животные падали на льду. Очевидно, что нельзя было снимать это вживую, поэтому авторы решили использовать 3D-модели.

Чтобы отсканировать лошадь, нам пришлось значительно изменить расстановку камер и поставить их овалом вокруг животного. У нас были опасения насчёт этого — камеры хрупкие, а вспышка во время сканирования могла напугать лошадь. Но на съёмках фильмов используют специально обученных животных, которые готовы к стрессовым ситуациям — и к неудобным костюмам, и к ярким вспышкам, и к громкому шуму, поэтому всё прошло отлично.

Само сканирование мы проводили во временном шатре совсем рядом с Дворцовой площадью. У нас ушла на это примерно неделя, а модели были готовы через месяц. Чтобы сделать такое количество реалистичных моделей вручную, пришлось бы потратить несоизмеримо больше времени и сил.

Такие выезды — не редкость: заказчикам значительно проще позвать нас на съёмки, чем везти всех актёров в костюмах к нам в офис, и это даже не говоря о лошади. Кроме того, мы не ограничиваемся лишь Москвой, и готовы выехать не только в другой регион, но и в другую страну.

Кадр со съёмок сериала «Годунов»

Когда сканирование выполнено, и массив фотографий готов, можно приступать к моделированию. Это достаточно ресурсоёмкий процесс, поэтому мощности одного компьютера недостаточно — у нас есть специальный сервер, на котором фотографии совмещаются воедино.

Сперва создаётся high-poly модель: её особенность заключается в том, что она сделана из большого количества полигонов (до 10 миллионов), и её можно использовать только для статичных моделей. При этом весит такая модель около 800 мегабайт, но этот показатель зависит от сложности формы.

Модель Филиппа в Т-позе. Стоимость создания сырой high-poly модели — около 7,5 тысяч рублей. Если же нужна финальная модель, которую можно сразу же использовать в своих проектах, то это будет стоить вдвое дороже

Такие модели мы делали, например, для титров фильма «Вторжение» Фёдора Бондарчука. Так как изначально задумывались статичные модели, нам пришлось сканировать актёров в тех самых динамичных позах, в которых они показаны в фильме. Мы построили специальные конструкции, которые помогали актёрам держаться в нужном положении. А для одной лежачей позы нам даже пришлось соорудить специальную платформу.

Для ещё одного проекта нам нужно было сделать статичную модель ворона в полёте. И это было совсем не просто! Мы сделали так, чтобы ворон в пределах сканера перелетал с одного места на другое. В момент полёта мы делали снимок и смотрели, получилось ли заснять подходящую позу. В итоге мы потратили на это около двух часов — только после множества попыток мы запечатлели нужный момент.

Если же требуется анимированная модель, которая сможет двигаться, то нужно перевести high-poly в low-poly — низкополигональную модель, которая состоит в среднем из 20 тысяч полигонов. Несмотря на огромную разницу в количестве полигонов, качество модели не снижается. Главная особенность low-poly заключается в том, что её можно анимировать — на неё накладывается скелет, который закрепляется за разными частями тела, благодаря чему они могут адекватно и реалистично двигаться.

Пример анимированной low-poly модели. Стоимость перевода high-poly в low-poly — около 5 тысяч рублей

Немного иначе происходит анимирование лица. Так как мимика у разных людей сильно отличается, важно сохранить эти особенности в 3D-модели. Для этого на этапе сканирования на лицо наносятся дополнительные метки, которые помогают точнее передать его форму, а сам человек должен изобразить несколько эмоций (гнев, радость, печаль и так далее) и произнести фонемы (буквы «а, о, и»). Это позволяет правильно передать все тонкости и особенности мимики человека.

Филипп наносит метки, которые помогают точнее передать мимику при анимировании

Также есть элементы, которые по разным причинам создаются отдельно. Во-первых, это волосы, потому что сканер воспринимает их как плоскость, из-за чего их нельзя правильно анимировать. Во-вторых, глаза, потому что их значительная часть скрыта за веками. В-третьих, полость рта — очевидно, что сканер просто физически не может отсканировать эту часть.

Затем всё это собирается воедино и создаётся полноценная анимация лица, которую можно использовать в любых сценах.

Набор отсканированных эмоций и фонем, на основе которых можно сделать реалистичную анимацию лица

Итоговый результат всегда зависит от того, чего хочет заказчик. Это может быть: массив фотографий, высокополигональная статичная модель, низкополигональная анимированная модель, анимация лица или полностью анимированная и готовая модель, которую можно сразу же вставить в свой проект.

Конечно, у нас есть и расширенный список услуг. Например, мы сканируем реквизит, консультируем по поводу использования таких технологий. При этом зачастую требования заказчиков выходят за рамки стандартного сканирования, и тогда нам приходится применять смекалку. Например, для фильма «Сердце Пармы» нужно было отсканировать лося. Но с настоящим лосем это сделать нереально — его трудно найти и ещё сложнее удержать в покое. Поэтому мы решили загримировать коня: добавили ему горб и рога. К сожалению, фотографии со съёмок остались только в виде сторис в Instagram.

Филипп во время сканирования

Планы на будущее

Сейчас мы сотрудничаем почти со всеми киностудиями в России, которые используют компьютерную графику в своих фильмах. Мы делаем модели для клипов, а также для видеоигр с реалистичной графикой. В нашем основном сканере больше 170 камер — это обеспечивает очень высокое качество финальной модели. Но мы не собираемся на этом останавливаться и планируем добавить и другие технологии.

Первый проект, который мы планируем запустить в этом году — light stage — сканер для лица, который позволит сделать модель с любым типом освещения. Это востребовано по одной простой причине — именно неправильное освещение на фотореалистичной модели создаёт эффект «зловещей долины» и выдаёт, что это цифровая копия, а не реальный актёр. Для решения этой проблемы мы задумали создать специальный сканер, в котором помимо камер есть большое количество светодиодных лампочек.

Принцип работы этого сканера также просто описать — камеры вместе с лампочками выставляются полукругом, а затем делается серия снимков с разным типом освещения — светодиоды загораются в определённом порядке, чтобы создать 200 вариантов освещения лица.

В результате такую модель лица можно поставить в любую сцену и выставить освещение так, чтобы цифровой человек ничем не выделялся на фоне реальных актёров.

Наш второй проект можно назвать ещё более амбициозным. Сейчас мы работаем над созданием «цифровых людей» — полностью анимированных моделей со своим искусственным интеллектом. Использовать такие модели можно в самых разных сферах — в качестве диктора новостей, актёра, каскадёра, видеоблогера, оболочки для ИИ и так далее.

Нейросеть сможет самостоятельно создавать необходимый контент. Например, будет достаточно вбить нужный текст, и она самостоятельно проговорит его как полноценный диктор. Также можно будет задавать сценарии — мы подготовим определённый набор действий, которые модель сможет выполнять, и их можно будет выстраивать в последовательные цепочки.

Такие модели могут выступать в качестве амбассадоров разных брендов. Например, можно задать нейросети количество постов в день, и она автоматически будет создавать контент — рекламировать товары, показывать на себе новые аксессуары, одежду и так далее. Она же сможет переводить контент на разные языки.

Также мы занимаемся автоматизацией процесса создания 3D-аватаров. Для этих целей сформирована команда специалистов по Data Science, программистов и инженеров. Мы разрабатываем технологию, которая совместит наши наработки в фотограмметрии и нейросеть, что позволит получать готовые аватары AAA-качества за доли секунды.

Сейчас мы находимся на таком этапе развития, когда полностью наладили пайплайн работы и готовы переходить на международный уровень. Качество наших моделей не уступает западным стандартам, поэтому такой рост — лишь вопрос времени. Мы с нетерпением ждём, когда мы и другие российские студии появимся в титрах самых кассовых фильмов мира.

Конкурс технических инструкций
null