3d-анимация без рук. Тестируем Visper от «Сбера»

В конце апреля «Сбер» запустил платформу Visper, которая позволяет создавать анимированных персонажей для видео и презентаций. Над проектом работает команда SberDevices. А буквально на прошлой неделе вышло масштабное обновление для разработчиков, которое позволило, например, анимировать собственных персонажей для 3d игр. Видеопродакшен LISPAKO протестировал возможности Visper и делится впечатлением.

Visper — сервис для создания презентационных видео. Главная особенность — возможность добавить 3d-ведущего, который проведёт презентацию за вас. Можно загрузить уже готовую собственную презентацию, например, в .pdf, выбрать персонажа — и сервис сгенерирует ролик. Кроме того, он может сам озвучить текст. Идеальный инструмент для тех, кто боится выступлений.

В первой версии можно было выбрать только готового персонажа, но с обновлением появилась возможность сделать ведущего со своим лицом. Для этого нужно загрузить фото, а сервис «наденет» его на готового персонажа и добавит мимику. Также можно выбрать манеру речи, добавить жесты и загрузить дополнительные материалы для ролика (видео или картинки).

На этапе монтажа можно поменять расположение персонажа в кадре или вовсе отключить его отображение и прослушать синтезированную речь. В первой версии были доступны лишь три женских голоса, с обновлением добавились три мужских. Но можно добавить и свою звуковую дорожку, система подберёт артикуляцию под текст автоматически.

Кстати, нецензурные выражения, нейросеть не пропустит.

С обновлением появился и раздел «Для разработчиков». Там можно найти 3D Face Animation SDK и API. Предполагается, что для анимации 3d-персонажей понадобятся лишь 3d-модель и звук, последний можно сгенерировать как раз с помощью платформы. Это действительно доступно лишь продвинутым пользователям, 3d модель необходимо правильно настроить и создать риг.

Ещё команда планирует работать над жестами. Пока их всего порядка 15, но арсенал будет расти. Главное, сервис планирует совершенствовать их автоматический подбор. В перспективе это тоже сэкономит разработчикам немало времени.

В сообщении «Сбера» сказано: «Рынок видеоконтента огромен, и практически всем сегментам бизнеса рано или поздно требуются видеоформаты для продвижения своих услуг. Разработчики Visper предложили полуавтоматизированный процесс превращения презентации в видео с визуальными персонажами, сделав его максимально простым и не требующим технических навыков».

Но пока платформа явно больше ориентирована на непрофессиональных пользователей. Там простой интерфейс, который сам ведёт пользователя к результату, подскажет, куда нажать и что сделать. Фактически, пользователю понадобится 10-15 минут на то, чтобы понять, как всё работает, и столько же на создание своего ролика. Для любых внутренних презентаций на ограниченную аудиторию Visper-презентации подойдут. Удивить преподавателей или коллег точно получится.

Массовая публика уже привыкла к высококачественной и очень дорогой 3d-анимации, которую используют мировые киностудии. И их персонажам анимированный нейросетью маскот пока явно проигрывает.

Мимика в 3D действительно актуальная проблема, поэтому на рынке уже есть несколько решений. Самым элегантным нам кажется трекинг мимики живого человека с помощью камеры IPhone. По сути, это motion capture для лица, система передаёт мимику на персонажа в режиме реального времени. Понадобится только актёр и IPhone. Подробнее о том, как это работает, мы писали тут.

Очевидное преимущество Visper — отсутствие актёра. Команда «Сбера» заявляет, что можно завести 3d-маскота, который станет виртуальным лицом компании, и использовать его в различных маркетинговых мероприятиях, а не только в презентациях.

Правда, рисовать его всё равно придётся самим, по старинке. В Visper можно анимировать только лицо, с телом придётся разбираться самостоятельно. Для корректного наложения на готовую модель артикуляции и жестов придётся попотеть. К тому же пока непонятно, сможет ли платформа работать с нечеловеческими, но антропоморфными моделями. Например, добавлять жесты и мимику монстрам.

Пока такие презентации очевидно проигрывают в качестве традиционному видео. Мимика персонажа не такая активная, как у человека, а губы далеко не всегда попадают в текст. На крупном экране это бросается в глаза. К тому же другие части лица значительно менее подвижны. Из-за этого лица персонажей выглядят безжизненно.

Сейчас технология в бета-тестировании, а значит все алгоритмы оттачиваются и совершенствуются. Доступ к платформе и пользователям, и разработчикам открыт бесплатно. Это значит, что любой желающий может вложиться в разработку технологий будущего: просто попробовать сделать свой ролик.