Mail.ru Group представила бесплатный сервис для создания виртуальных ведущих на основе ИИ Статьи редакции
Инструмент позволит компаниям, медиа и блогерам быстро выпускать сюжеты студийного качества, говорят в компании.
Сервис «Смотри Mail.ru» разработал платформу с цифровыми ведущими для производства новостей и репортажей в телевизионном формате, сообщили vc.ru в компании.
Чтобы сделать новостной видеоролик, нужно загрузить текст (его прочитает ведущий) и, если необходимо, изображения, музыку, титры и ссылки. Пользователь может выбрать внешность диктора из предложенных вариантов и оформление студии (например, в цветах компании).
Речь и мимика ведущих реалистичны, утверждают в компании. Например, читая новости, они расставляют смысловые акценты и воспроизводят эмоции. Сервис бесплатный для пользователей.
При создании платформы группа использовала собственные ИИ-разработки: над синтезом речи работала команда голосового помощника «Маруся», а в основе моделей ведущих лежит система компьютерного зрения группы Vision. Видеоизображение синхронизируется с речью ведущего — чтобы точно отображать движение губ и мимику, система обучалась на реальных людях и видеозаписях.
Mail.ru Group рассчитывает, что платформой будут пользоваться крупные компании, нишевые медиа и блогеры. Использование видеоредактора позволит им быстро выпускать сюжеты и экономить на производстве контента.
Видео от профессиональных медиаплощадок смогут попасть в рекомендательную систему сервиса «Смотри Mail.ru», что позволит пользователям заработать на видео, отмечают в компании. По прогнозам группы, к 2022 году 79% интернет-трафика в России будут составлять онлайн-видео.
Похожий сервис есть у «Сбербанка»: в апреле 2019 года компания представила виртуальную телеведущую с ИИ «Елена». Система позволяет создать ролик с новостным сюжетом, она генерирует речь и мимику.
Гораздо интереснее было бы по смыслу из текста выделять сущности, по которым потом происходил бы поиск картинок или видео и все это собиралось в видел поток. Тогда новостные каналы не запаривались бы над монтажом (они и щас не запариваются, а просто вставляют всякие картинки)
А ну ещё можно было бы переобучить модель диктора на свой фейс, но видимо у мейла проблемы с качеством в этом направлении(ну как и у всех)
В прошлом году появилось уже несколько вариантов, вроде этот самый качественный (там ссылка на GitHub и на Collab):
https://youtu.be/u-0cQ-grXBQ
Да понятно что есть уже, вопрос в нормальной коммерческой реализации.
Думаете? Мне казалось, как раз коммерческие реализации есть, цифровые копии актёров успешно используются.
А было бы здорово соединить deepfake с какой-нибудь генерацией голоса вроде https://github.com/CorentinJ/Real-Time-Voice-Cloning и сделать свой фанфик по ГИБ или ГПМРМ с оригинальными актёрами.
Ну я имею ввиду сервиса с широким набором услуг, для казуальных потребителей, пока нету.
Мэйл молодцы, то что открывают рынок, но вопрос только в качестве реализации и наборе сервисов, которые они дотянут до прода.