Конкурс инструкций
Промо

Мы сделали 3D-модель менеджера по продукту vc.ru

Узнали, как сканируют людей и животных для фильмов и игр, сколько это стоит, а также послушали интересные истории о создании модели лося и других кейсах.

Материал подготовлен при поддержке Twin3D

Московская студия Twin3D создаёт 3D-модели людей и животных для фильмов, игр, клипов, рекламы и других медиапроектов. При этом само моделирование происходит не в классических 3D-редакторах, а при помощи сканера, который фотографирует объект одновременно с 360 градусов. Так студия создаёт цифровые версии реальных объектов. Два главных достоинства этого подхода — скорость сканирования, которое занимает меньше секунды, и высокая фотореалистичность, которую сложно достичь иными способами.

Мы съездили к Twin3D, чтобы сделать цифрового аватара менеджера по продукту vc.ru Филиппа Концаренко и посмотреть, как это происходит. А потом основатель студии Алексей Белокопытов рассказал об интересных кейсах и поделился планами по развитию бизнеса. Далее — его прямая речь.

Как проходит процесс сканирования

Чаще всего мы работаем с тремя типами заказчиков. Во-первых, это кино и видеопродакшен — сюда относятся крупные исторические и фантастические фильмы, музыкальные клипы, реклама и любое другое видео, в котором нужны 3D-модели. На российском рынке не так много компаний, которые занимаются сканированием по методу фотограмметрии. Поэтому мы участвуем в съёмках большинства отечественных фильмов со спецэффектами.

Во-вторых, мы тесно работаем с игровыми студиями, которые создают проекты с фотореалистичной графикой. К сожалению, с ними очень строгий NDA, поэтому мы не сможем раскрыть каких-либо подробностей. В-третьих, это разнообразные инди-проекты — особенно популярны игры и приложения с технологиями AR/VR/XR, а также создание цифровой оболочки для голосового помощника.

Алексей Белокопытов, глава Twin3D

Описать сам процесс сканирования довольно просто — вокруг объекта под определённым углом выставляются зеркальные камеры, которые одновременно делают снимок. Затем мы в специальной программе из этих фотографий создаём полноценную модель. Дальше всё зависит от желания заказчика — кому-то достаточно лишь массива фотографий, а другим нужна полностью анимированная модель. И мы готовы предоставить результаты любого этапа создания модели.

Сейчас в нашем сканере более 170 DSLR-камер — мы постепенно увеличивали этот показатель, потому что за счёт этого растёт детализация моделей. Но на нынешнем уровне пока нет необходимости идти дальше — мы не можем представить проект, в котором потребуется более высокое качество, чем есть сейчас.

Сам сканер — это сложная система, которая состоит из камер, импульсного света и нескольких компьютеров, которые поддерживают её работу

Несмотря на простоту описания процесса сканирования, в действительности всё значительно труднее. И дело не только в сложности технического процесса — многое зависит от качества подготовки. Она начинается на самом раннем этапе, когда заказчик только приходит со своей идеей. При обсуждении задачи важно узнать все условия и детали, потому что от этого будет зависеть результат.

Один из наиболее показательных примеров — наша работа над фильмом «Союз спасения». Нам нужно было выехать со всем оборудованием в Санкт-Петербург и отсканировать около тысячи актёров массовки в исторических костюмах. Чтобы организовать всё это, потребовалось много усилий — именно мы организовывали перевозку оборудования на машинах, занимались размещением камер, следили за тем, чтобы все актёры прошли сканирование, и так далее.

Некоторые сложности самого сканирования были связаны со спецификой костюмов — сканер плохо воспринимает блестящие, тёмные и прозрачные элементы одежды. Чтобы снизить блеск металлических элементов, мы используем матирующее средство, а на тёмную одежду прикрепляем специальные метки — они помогают программе правильно определить форму объекта. Поэтому нам было важно заранее посчитать объём этих расходников.

Другая сложность была связана со сканированием лошади — в фильме были сцены, когда животные падали на льду. Очевидно, что нельзя было снимать это вживую, поэтому авторы решили использовать 3D-модели.

Чтобы отсканировать лошадь, нам пришлось значительно изменить расстановку камер и поставить их овалом вокруг животного. У нас были опасения насчёт этого — камеры хрупкие, а вспышка во время сканирования могла напугать лошадь. Но на съёмках фильмов используют специально обученных животных, которые готовы к стрессовым ситуациям — и к неудобным костюмам, и к ярким вспышкам, и к громкому шуму, поэтому всё прошло отлично.

Само сканирование мы проводили во временном шатре совсем рядом с Дворцовой площадью. У нас ушла на это примерно неделя, а модели были готовы через месяц. Чтобы сделать такое количество реалистичных моделей вручную, пришлось бы потратить несоизмеримо больше времени и сил.

Такие выезды — не редкость: заказчикам значительно проще позвать нас на съёмки, чем везти всех актёров в костюмах к нам в офис, и это даже не говоря о лошади. Кроме того, мы не ограничиваемся лишь Москвой, и готовы выехать не только в другой регион, но и в другую страну.

Кадр со съёмок сериала «Годунов»

Когда сканирование выполнено, и массив фотографий готов, можно приступать к моделированию. Это достаточно ресурсоёмкий процесс, поэтому мощности одного компьютера недостаточно — у нас есть специальный сервер, на котором фотографии совмещаются воедино.

Сперва создаётся high-poly модель: её особенность заключается в том, что она сделана из большого количества полигонов (до 10 миллионов), и её можно использовать только для статичных моделей. При этом весит такая модель около 800 мегабайт, но этот показатель зависит от сложности формы.

Модель Филиппа в Т-позе. Стоимость создания сырой high-poly модели — около 7,5 тысяч рублей. Если же нужна финальная модель, которую можно сразу же использовать в своих проектах, то это будет стоить вдвое дороже

Такие модели мы делали, например, для титров фильма «Вторжение» Фёдора Бондарчука. Так как изначально задумывались статичные модели, нам пришлось сканировать актёров в тех самых динамичных позах, в которых они показаны в фильме. Мы построили специальные конструкции, которые помогали актёрам держаться в нужном положении. А для одной лежачей позы нам даже пришлось соорудить специальную платформу.

Для ещё одного проекта нам нужно было сделать статичную модель ворона в полёте. И это было совсем не просто! Мы сделали так, чтобы ворон в пределах сканера перелетал с одного места на другое. В момент полёта мы делали снимок и смотрели, получилось ли заснять подходящую позу. В итоге мы потратили на это около двух часов — только после множества попыток мы запечатлели нужный момент.

Если же требуется анимированная модель, которая сможет двигаться, то нужно перевести high-poly в low-poly — низкополигональную модель, которая состоит в среднем из 20 тысяч полигонов. Несмотря на огромную разницу в количестве полигонов, качество модели не снижается. Главная особенность low-poly заключается в том, что её можно анимировать — на неё накладывается скелет, который закрепляется за разными частями тела, благодаря чему они могут адекватно и реалистично двигаться.

Пример анимированной low-poly модели. Стоимость перевода high-poly в low-poly — около 5 тысяч рублей

Немного иначе происходит анимирование лица. Так как мимика у разных людей сильно отличается, важно сохранить эти особенности в 3D-модели. Для этого на этапе сканирования на лицо наносятся дополнительные метки, которые помогают точнее передать его форму, а сам человек должен изобразить несколько эмоций (гнев, радость, печаль и так далее) и произнести фонемы (буквы «а, о, и»). Это позволяет правильно передать все тонкости и особенности мимики человека.

Филипп наносит метки, которые помогают точнее передать мимику при анимировании

Также есть элементы, которые по разным причинам создаются отдельно. Во-первых, это волосы, потому что сканер воспринимает их как плоскость, из-за чего их нельзя правильно анимировать. Во-вторых, глаза, потому что их значительная часть скрыта за веками. В-третьих, полость рта — очевидно, что сканер просто физически не может отсканировать эту часть.

Затем всё это собирается воедино и создаётся полноценная анимация лица, которую можно использовать в любых сценах.

Набор отсканированных эмоций и фонем, на основе которых можно сделать реалистичную анимацию лица

Итоговый результат всегда зависит от того, чего хочет заказчик. Это может быть: массив фотографий, высокополигональная статичная модель, низкополигональная анимированная модель, анимация лица или полностью анимированная и готовая модель, которую можно сразу же вставить в свой проект.

Конечно, у нас есть и расширенный список услуг. Например, мы сканируем реквизит, консультируем по поводу использования таких технологий. При этом зачастую требования заказчиков выходят за рамки стандартного сканирования, и тогда нам приходится применять смекалку. Например, для фильма «Сердце Пармы» нужно было отсканировать лося. Но с настоящим лосем это сделать нереально — его трудно найти и ещё сложнее удержать в покое. Поэтому мы решили загримировать коня: добавили ему горб и рога. К сожалению, фотографии со съёмок остались только в виде сторис в Instagram.

Филипп во время сканирования

Планы на будущее

Сейчас мы сотрудничаем почти со всеми киностудиями в России, которые используют компьютерную графику в своих фильмах. Мы делаем модели для клипов, а также для видеоигр с реалистичной графикой. В нашем основном сканере больше 170 камер — это обеспечивает очень высокое качество финальной модели. Но мы не собираемся на этом останавливаться и планируем добавить и другие технологии.

Первый проект, который мы планируем запустить в этом году — light stage — сканер для лица, который позволит сделать модель с любым типом освещения. Это востребовано по одной простой причине — именно неправильное освещение на фотореалистичной модели создаёт эффект «зловещей долины» и выдаёт, что это цифровая копия, а не реальный актёр. Для решения этой проблемы мы задумали создать специальный сканер, в котором помимо камер есть большое количество светодиодных лампочек.

Принцип работы этого сканера также просто описать — камеры вместе с лампочками выставляются полукругом, а затем делается серия снимков с разным типом освещения — светодиоды загораются в определённом порядке, чтобы создать 200 вариантов освещения лица.

В результате такую модель лица можно поставить в любую сцену и выставить освещение так, чтобы цифровой человек ничем не выделялся на фоне реальных актёров.

Наш второй проект можно назвать ещё более амбициозным. Сейчас мы работаем над созданием «цифровых людей» — полностью анимированных моделей со своим искусственным интеллектом. Использовать такие модели можно в самых разных сферах — в качестве диктора новостей, актёра, каскадёра, видеоблогера, оболочки для ИИ и так далее.

Нейросеть сможет самостоятельно создавать необходимый контент. Например, будет достаточно вбить нужный текст, и она самостоятельно проговорит его как полноценный диктор. Также можно будет задавать сценарии — мы подготовим определённый набор действий, которые модель сможет выполнять, и их можно будет выстраивать в последовательные цепочки.

Такие модели могут выступать в качестве амбассадоров разных брендов. Например, можно задать нейросети количество постов в день, и она автоматически будет создавать контент — рекламировать товары, показывать на себе новые аксессуары, одежду и так далее. Она же сможет переводить контент на разные языки.

Также мы занимаемся автоматизацией процесса создания 3D-аватаров. Для этих целей сформирована команда специалистов по Data Science, программистов и инженеров. Мы разрабатываем технологию, которая совместит наши наработки в фотограмметрии и нейросеть, что позволит получать готовые аватары AAA-качества за доли секунды.

Сейчас мы находимся на таком этапе развития, когда полностью наладили пайплайн работы и готовы переходить на международный уровень. Качество наших моделей не уступает западным стандартам, поэтому такой рост — лишь вопрос времени. Мы с нетерпением ждём, когда мы и другие российские студии появимся в титрах самых кассовых фильмов мира.

{ "author_name": "Никита Якимов", "author_type": "editor", "tags": [], "comments": 0, "likes": 32, "favorites": 44, "is_advertisement": true, "subsite_label": "promo", "id": 151013, "is_wide": true, "is_ugc": false, "date": "Thu, 20 Aug 2020 11:00:51 +0300", "is_special": false }
Конкурс технических инструкций
Три года в Долине строил мессенджер и закрыл его: что сделал не так Юрий Лифшиц и какие уроки вынес из провала Статьи редакции

Теперь он работает над проектом для DAO и уже привлёк $1 млн на свою идею.

Как имиджевый проект о безопасном вождении привлёк лиды и расширил маркетинговую воронку страховой компании

А игра с виртуальной фарфоровой статуэткой помогла 6,5 тысячам водителей не превышать скорость.

Власти Москвы потребовали от винных магазинов закрыться на время локдауна — в ответ бизнес предложил торговать крупой Статьи редакции

Под ограничения могут попасть 200 магазинов, но не крупные сети алкомаркетов.

Купил квартиру под офис компании

Меня зовут Евгений, сейчас моя компания занимается разработкой экологического стартапа и разработкой проектной документации по экологии с 2012 года. Тогда мне было 23 года, все это время мы платили за аренду и были привязаны к условиям и ограничениям. В 2021 году мы с женой купили квартиру площадью 70 м2 на первом этаже жилого дома и разместили…

Как QIWI наладила прозрачный коннект бизнеса с самозанятыми

Рассказываем про нашу работу с одним из самых интересных развивающихся рынков — самозанятыми.

Первый в России ПИФ на блокчейн
Не созваниваюсь! Записываю видео-разбор дизайна с 90% конверсией
Онлайн-кинотеатр IVI объявил дату премьеры сериала «Везёт» с Евгением Цыгановым​
МТТ обеспечит бизнес бесплатными минутами

Провайдер интеллектуальных решений для бизнеса АО «МТТ» объявляет о специальных условиях для бизнеса в период ограничений, связанных с ростом заболеваемости COVID-19, и предлагает новым абонентам тысячи бесплатных минут.

Как превратить звонки в продажи?

В прошлой статье мы разбирали проблему отсутствия интернет-продаж с технической точки зрения - из-за некорректного тестирования и настройки рекламных кампаний. Сегодня мы поговорим о человеческом факторе, и почему у вас не покупают клиенты.

null