«Сбер» выложил в открытый доступ Kandinsky Avatar 1.0 — семейство моделей для генерации видеоаватаров со звуком
Разработчики могут использовать их в своих сервисах, в том числе коммерческих.
Пример на английском языке. На русском — ниже. Источник здесь и далее: «Сбер»
- Kandinsky Avatar 1.0 — семейство российских моделей, которые анимируют говорящих ИИ-аватаров по изображению и записи голоса, рассказали в компании. Продолжительность ролика — до минуты с частотой 24 кадра в секунду.
- Для создания аватары нужны изображение, аудиозапись и текстовое описание сцены. Kandinsky Avatar синхронизирует движения губ с речью, добавит мимику, повороты головы и жесты — «эмоции» можно прописать текстом. Аватар будет «говорить» на языке аудиозаписи, которую использовали.
- По словам «Сбера», Kandinsky Avatar разработана на базе модели генерации видео Kandinsky 5.0 Video и доступна разработчикам в двух версиях. Флагманская Pro создаёт видео в HD-разрешении и «работает на одном уровне с HeyGen». Компактная Lite генерирует видео в SD, её «можно запустить на домашней видеокарте».
- Разработчики обучили модели более чем на 1 млн фрагментов: интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.
- Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью можно будет воспользоваться и в инструментах ComfyUI и Diffusers. «Сбер» также планирует добавить Kandinsky Avatar 1.0 в свои сервисы.