ProPainter, Удаление объектов на видео с помощью нейросети, Русская Портативная версия
Всем привет сегодня расскажу вам про ProPainter - это передовой инструмент для видеоинпейнтинга, разработанный исследователями из Наньянского технологического университета. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист.
ПроПаинтер позволяет удалять объекты из видео и заполнять пропуски с высоким качеством, используя улучшенные алгоритмы сегментации и трансформеры.
Но для больших видео или высокого разрешения понадобится много видеопамяти потому что эта технология использует целый каскад нейросетей включающих в себя сегментацию для отслеживания объектов и создания масок и специальную диффузионную модель обученную для работы с видео.
Специально для вас мы с каналом 👾 НЕЙРО-СОФТ сделали портативную версию, которую легко скачать и так же легко удалить, это лучший способ быстро протестировать новую технологию.
Установка очень простая, переходите в публикацию в телеграм, выбираете удобную для себя версию, есть самораспаковывающийся архив 7z, он весит меньше, но нам говорили что на него иногда ругается встроенный антивирус винды, потому рядом есть обычный zip архив, если не хотите отключать антивирус.
Распакуйте содержимое архива и запустите start_nvidia_portable.bat после загрузки всех необходимых компонентов приложение откроется в вашем браузере по умолчанию.
Интерфейс у приложения максимально простой, но чтобы было еще удобнее мы перевели все на русский язык.
Для начала работы загрузите видео в окошке Шаг 1, и нажмите на кнопку Получить информацию о видео.
Очень хорошо работают гифки из телеграма. У них мало кадров и маленькое разрешение, то что нужно для тестирования. Загружать видео больше чем 640х480 и длиннее нескольких сотен кадров - не советую, не хватает даже 24гб видеопамяти.
После того как информация о видео получена надо создать маску на том объекте который надо удалить. Для этого кликните на объект где нужно создать маску. Возможно кликнуть придется много раз, если выделено лишнее нажмите на кнопку Очистить клики и начните сначала.
После того как маска задана надо нажать Добавить маску для сохранения выбранной маски.
Теперь когда маска сохранена можно перейти к Шагу 3, просто нажмите на кнопку Отслеживание.
На этом этапе вы можете проверить хорошо ли отрабатывает автоматическое отслеживание маски и если нет, то создать еще несколько масок указывая другой Начальный кадр отслеживания в шаге 2. Но если все получилось отлично, просто нажмите на кнопочку Инпеинт.
Вот такой получился результат
Можно добиться действительно хороших результатов, хоть и придётся наложить много масок.
Или можно убрать кого-то лишнего.
Иногда приходится создать несколько масок, чтобы получить устойчивое отслеживание.
Качество видео конечно не идеально там где был инпеинтинг. Но для улучшения можно отправить его в Topaz Video AI.
Я увеличил в два раза разрешение, добавил улучшение и интерполяцию кадров, но вернуть лицо парнишке уже не получится.
Мне ProPainter точно пригодится для мелких задачек типа удаления водяных знаков на гифках или лишних артефактов на небольших видео, уверен пригодится этот инструмент и другим контент мейкерам, а в будущем мы увидим его улучшенную версию в составе пакетов для видеомонтажа.
Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Ну и на канал с репаками тоже подпишетесь, чтобы не пропустить ничего полезного. Всех обнял. Удачных генераций!
Устали платить за ChatGPT-4? Мечтаете создавать приложения, игры и сайты, но не знаете программирования? Хотите автоматизировать рутинные задачи, но нет бюджета на дорогие инструменты? DeepSeek-R1 решит все эти проблемы — бесплатно, быстро и даже без интернета! В этой статье я расскажу, как использовать эту потрясающую нейросеть, чтобы воплотить в…
Приступая к тестированию новейших ИИ-генераторов видео, я хотел ответить на простой вопрос: насколько хорошо они могут оживить статичное изображение?
Generate Video – инструмент от конкурента Sora (OpenAI) позволяет любому создавать 5-секундные видео с разрешением 1080 p.
Устали от бесконечного переключения между разными сервисами искусственного интеллекта? Тратите время на регистрацию в десятках приложений, каждое из которых выполняет только одну функцию? Хотите использовать мощь современных нейросетей, но запутались в их многообразии? Эта статья поможет вам разобраться, как объединить более 70 передовых ИИ-инструм…
Вебмастера ценят те партнерки, где защищают их трафик. Процедура поиска потерянных конверсий не уникальная, основные партнерки предоставляют по запросу эту информацию. В Pampadu мы выстроили систему так, чтобы вебмастерам было легко подать заявку на поиск конверсии и в кратчайшие сроки получить исчерпывающий ответ.
Все более популярным способом заработка в интернете становится использование нейросетей, что значительно повышает не только вашу эффективность, но и уровень дохода.
Вас беспокоит, что AI вытеснит фотографов и дизайнеров с рынка? В этой статье я подробно анализирую, как Midjourney 6 и другие генераторы изображений трансформируют рынок визуального контента, какие ниши останутся за людьми, а где AI действительно заменит специалистов. Разбираю инструменты Midjourney и Flux, делюсь конкретными промптами и настройка…
Идеи закончились? Бриф пуст, проект буксует, а вдохновение не приходит? Творческий кризис – реальность не только для писателей, но и для дизайнеров, художников, маркетологов и других креаторов. В этой статье я покажу, как Midjourney и ChatGPT помогают генерировать идеи, находить свежие решения и превращать творческий процесс в игру. Освойте мощный…
🎵 Друзья, вы готовы к настоящей революции в мире аудио? В этом видео я покажу вам три невероятные нейросети, которые перевернут ваше представление о работе со звуком! MM-Audio создаст потрясающие звуковые эффекты для ваших видео и игр всего за пару кликов, Fish Speech поразит вас качеством клонирования голоса по минутному образцу, а LatentSync иде…
Очень интересно, как эта технология справляется с удалением объектов на видео
Так вот несколько примеров которые я сделал есть в статье, справляется нормально если видео не длинное и движения не сильные.