ToonCrafter - бесплатный ИИ инструмент для генеративной интерполяции (анимации) мультфильмов
С помощью искусственного интеллекта наступает новая эра анимации.
Некоторые из наших любимых аниме-сериалов, такие как Naruto, Dragon Ball Z и Demon Slayer, были нарисованы вручную и требовали сотен часов человеческого труда.
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Сегодня же все просто: загружаем пару изображений в инструмент, описываем, как должно выглядеть видео, ждем несколько минут - и бум! У вас есть уникальная аниме-серия.
В этой статье я расскажу вам о бесплатном ИИ-инструменте под названием ToonCrafter, который в последнее время привлекает большое внимание ИИ-сообщества.
BrainAidBot - телеграм-бот на базе Chat GPT-4 Omni, который включает модули Midjourney, Dall-e и Stable Diffusion. В нём предусмотрены различные роли, такие как генерация промптов и логотипов, что может значительно упростить задачи по созданию контента.
Модули Midjourney, SDXL, Stable Diffusion Image Core и SD 3 позволяют выполнять сложную генерацию изображений, поэтому он прекрасно подходит для тех, кто стремится к высоким стандартам качества.
Генератор DALLE 3 поддерживает русский текст и создает HD-контент, что обеспечивает дополнительную гибкость в работе. Кроме этого, бот умеет транскрибировать текст, что может быть полезно для более разнообразных нужд.
Что такое ToonCrafter?
ToonCrafter - это совершенно новый ИИ-фреймворк, созданный для преодоления разрыва между традиционной мультипликационной анимацией и современными ИИ-технологиями. Он использует предварительно обученные модели диффузии видео для создания визуально убедительных и естественно выглядящих анимаций.
Этот инструмент идеально подходит для тех, кто хочет создавать аниме без особых навыков рисования или ручного труда. Представьте, что у вас есть два исходных эскиза, а искусственный интеллект предсказывает и заполняет видеокадры между ними.
Как он работает?
Архитектура ToonCrafter построена на основе модели интерполяции DynamiCrafter с открытым исходным кодом - современной модели генеративной диффузии изображения в видео, которая демонстрирует надежное понимание движения при интерполяции в реальном времени, но не работает при применении к мультипликационной анимации.
Фреймворк включает в себя три ключевых улучшения для генеративной интерполяции мультфильмов:
- Стратегия обучения Toon Rectification. Эта тщательно разработанная стратегия позволяет точно настроить пространственное понимание контекста и слои генерации контента базовой модели генерации видео, обусловленной изображениями, на основе собранных данных о мультфильмах, эффективно адаптируя суждения о движении в живом действии к области анимации мультфильмов.
- 3D-декодер на основе двойных ссылок. Этот новый декодер компенсирует потерю деталей из-за сильного сжатия латентных пространств предшественников, обеспечивая сохранение мелких деталей в результатах интерполяции. Он вводит детальную информацию из входных изображений в генерируемые латентные пространства кадров, используя механизм перекрестного внимания в поверхностных слоях декодирования и остаточное обучение в более глубоких слоях с учетом вычислительных затрат.
- Кадрово-зависимый кодировщик эскизов. Этот гибкий кодировщик эскизов предоставляет пользователям интерактивный контроль над результатами интерполяции, позволяя создавать или изменять результаты интерполяции с временной разреженной или плотной структурой движения.
Если вы хотите узнать больше о том, как это работает, ознакомьтесь с этой статьей о ToonCrafter.
Попробуйте сами
Этот инструмент анимации вы можете попробовать двумя способами:
Попробуйте запустить инструмент на локальном компьютере, если у вас есть мощный GPU. В этой статье я покажу вам, как использовать ToonCrafter через HuggingFace.
Перейдите на страницу ToonCrafter на HuggingFace. Приборная панель выглядит следующим образом:
Эта настройка требует загрузки двух изображений в две дроп-зоны. Вот два примера изображений:
Затем настройте параметры и введите текстовый промпт. В этом примере я использовал следующий промпт:
an anime scene
Нажмите на кнопку «Generate» и подождите, пока AI завершит процесс в фоновом режиме. Готовое видео представляет собой файл размером 512x320.
Выглядит очень круто! Переход между кадрами очень плавный.
Вот еще несколько примеров:
Интерполяция эскизов мультфильмов
ИИ-инструмент также способен интерполировать эскизы. Взгляните на эти два исходных изображения:
Вот конечный результат:
По словам исследователей, это более чем сложно из-за крайне разреженной структуры без цвета и текстур. Тем не менее, ToonCrafter все равно позволяет получить достойные результаты.
Представьте себе, какой потенциал открывается перед художниками комиксов или создателями раскадровок.
Раскрашивание эскизов на основе эталонов
ToonCrafter также может поддерживать раскрашивание эскизов на основе эталонов, используя 1 или 2 референсных изображения и покадровые эскизы.
Раскрашивать свои эскизы еще никогда не было так просто. ToonCrafter идет дальше, раскрашивая кадры в видео!
Локальный запуск ToonCrafter
Я не буду вдаваться в подробности запуска ToonCrafter локально. Подробности вы можете узнать на странице GitHub.
Имейте в виду, что размер модели составляет 10,5 ГБ, поэтому убедитесь, что у вас высокая скорость интернета и место на локальном диске.
Локальный запуск ToonCrafter дает вам больше возможностей для контроля и потенциально более высокую скорость обработки, особенно если у вас мощный компьютер. Этот вариант отлично подходит для тех, кто хочет больше экспериментировать с инструментом или использовать его для больших проектов.
За последние пару месяцев я видел несколько ИИ-инструментов, способных создавать аниме-видео на основе текстовых описаний. Однако ни один из них не может создать такой уровень плавности между кадрами и выразительные лица, как ToonCrafter.
Что касается этических последствий использования такого инструмента, то я знаю о рисках и опасениях, связанных с использованием ИИ для создания любой формы медиа. Если вы собираетесь использовать ToonCrafter для создания NSFW или любого другого вредного видео, пожалуйста, не делайте этого.
Эта статья не спонсируется разработчиками этого инструмента, я просто искренне впечатлен этой технологией. Кроме того, она совершенно бесплатна, так что пользуйтесь и удивляйтесь.
Еще больше полезностей - в моем телеграм-канале про нейросети и канале про генерацию изображений Миджорниум.
Источник статьи на английском - здесь.