ProPainter, Удаление объектов на видео с помощью нейросети, Русская Портативная версия
Всем привет сегодня расскажу вам про ProPainter - это передовой инструмент для видеоинпейнтинга, разработанный исследователями из Наньянского технологического университета. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист.
ПроПаинтер позволяет удалять объекты из видео и заполнять пропуски с высоким качеством, используя улучшенные алгоритмы сегментации и трансформеры.
Но для больших видео или высокого разрешения понадобится много видеопамяти потому что эта технология использует целый каскад нейросетей включающих в себя сегментацию для отслеживания объектов и создания масок и специальную диффузионную модель обученную для работы с видео.
Специально для вас мы с каналом 👾 НЕЙРО-СОФТ сделали портативную версию, которую легко скачать и так же легко удалить, это лучший способ быстро протестировать новую технологию.
Установка очень простая, переходите в публикацию в телеграм, выбираете удобную для себя версию, есть самораспаковывающийся архив 7z, он весит меньше, но нам говорили что на него иногда ругается встроенный антивирус винды, потому рядом есть обычный zip архив, если не хотите отключать антивирус.
Распакуйте содержимое архива и запустите start_nvidia_portable.bat после загрузки всех необходимых компонентов приложение откроется в вашем браузере по умолчанию.
Интерфейс у приложения максимально простой, но чтобы было еще удобнее мы перевели все на русский язык.
Для начала работы загрузите видео в окошке Шаг 1, и нажмите на кнопку Получить информацию о видео.
Очень хорошо работают гифки из телеграма. У них мало кадров и маленькое разрешение, то что нужно для тестирования. Загружать видео больше чем 640х480 и длиннее нескольких сотен кадров - не советую, не хватает даже 24гб видеопамяти.
После того как информация о видео получена надо создать маску на том объекте который надо удалить. Для этого кликните на объект где нужно создать маску. Возможно кликнуть придется много раз, если выделено лишнее нажмите на кнопку Очистить клики и начните сначала.
После того как маска задана надо нажать Добавить маску для сохранения выбранной маски.
Теперь когда маска сохранена можно перейти к Шагу 3, просто нажмите на кнопку Отслеживание.
На этом этапе вы можете проверить хорошо ли отрабатывает автоматическое отслеживание маски и если нет, то создать еще несколько масок указывая другой Начальный кадр отслеживания в шаге 2. Но если все получилось отлично, просто нажмите на кнопочку Инпеинт.
Вот такой получился результат
Можно добиться действительно хороших результатов, хоть и придётся наложить много масок.
Или можно убрать кого-то лишнего.
Иногда приходится создать несколько масок, чтобы получить устойчивое отслеживание.
Качество видео конечно не идеально там где был инпеинтинг. Но для улучшения можно отправить его в Topaz Video AI.
Я увеличил в два раза разрешение, добавил улучшение и интерполяцию кадров, но вернуть лицо парнишке уже не получится.
Мне ProPainter точно пригодится для мелких задачек типа удаления водяных знаков на гифках или лишних артефактов на небольших видео, уверен пригодится этот инструмент и другим контент мейкерам, а в будущем мы увидим его улучшенную версию в составе пакетов для видеомонтажа.
Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Ну и на канал с репаками тоже подпишетесь, чтобы не пропустить ничего полезного. Всех обнял. Удачных генераций!
Очень интересно, как эта технология справляется с удалением объектов на видео
Так вот несколько примеров которые я сделал есть в статье, справляется нормально если видео не длинное и движения не сильные.