Нейросеть от Captions для генерации видео с людьми по записи голоса — первые примеры из соцсетей
Пока модель Mirage доступна в закрытой бета-версии.
- Пользователи в соцсетях начали делиться генерациями нейросети Mirage от разработчиков Captions — видеоредактора с ИИ-функциями. Она создаёт видео «эмоциональных» аватаров только по аудиозаписи голоса — «без референсных изображений».
Результаты генераций видео по аудиозаписи в Mirage. Источник: Angry Tom
- Глава Captions и бывший исследователь в Google DeepMind Дрю Джегл показал примеры роликов, в которых нейросеть считала эмоции в голосе и подобрала внешность спикера по языку или акценту.
Источник: Drew Jaegle
- Однако в роликах видно, что изображение не всегда получается чётким, а некоторые пользователи пишут, что аватары выглядят, как «силикон, натянутый на каркас».
- Компания анонсировала модель 25 февраля 2025 года. Её планируют сделать доступной для коммерческого использования «в ближайшие пару недель». Для тестирования нужно записаться в лист ожидания.
Судя по примерам, пока нейросеть генерирует видео длиной до двух секунд. Их можно продлить в других сервисах и синхронизировать движение губ с аудио. Источник: Robin Delta
- Captions основали в 2021 году Гаурав Мисра и Дуайт Чёрчилл. В видеоредакторе есть функции создания субтитров и «нейродубляжа», в том числе на русском, а также генераторы ИИ-аватаров и видеорекламы.
- В июле 2025 года стартап привлёк $60 млн от Index Ventures, Andreessen Horowitz, Sequoia Capital, Kleiner Perkins, Adobe Ventures, HubSpot Ventures и музыканта и актёра Джареда Лето при оценке в $500 млн.
В открытом доступе появилась нейросеть для дубляжа LipDub — она может «заставить» героя видео говорить заданный текст
В 2024 году с её помощью Уилл Смит «заговорил» на португальском в рекламе Nomad.
Также обновили ИИ для создания изображений и видео.
Бизнесу удобно - вместо 5 роликов можно штамповать 50 в неделю) Но кто это будет смотреть? Соцсети и так переполнены рекламой, а теперь ещё и с ненастоящими людьми. Интересно, учли ли они, что многие платформы начинают помечать ИИ-контент или даже ограничивать его продвижение? Впрочем, русский язык поддерживают, уже плюс
Революция в мире ИИ-видео: Mirage создаёт виртуальных людей, которые выглядят как настоящие
💡 Будущее уже здесь: виртуальные актёры без границ
Новый бесплатный генератор речи: революция в создании аудиоконтента
Искусственный интеллект продолжает ломать барьеры, и свежий релиз от разработчиков Sesame — это, без преувеличения, революция в области синтеза речи. Их новая открытая и бесплатная модель позволяет превратить текст в живую, реалистичную речь, сохраняя интонации и темп живого голоса.
Sesame выложила бесплатную модель синтеза речи своего «вирусного» ИИ-помощника — он смеётся, «заигрывает» и ведёт «искренний диалог»
Модель пока не поддерживает русский язык, в соцсетях её используют для практики разговорного английского.
Вышел ИИ генератор видео от Adobe
Generate Video – инструмент от конкурента Sora (OpenAI) позволяет любому создавать 5-секундные видео с разрешением 1080 p.
Путин звонил, сказал в вайтлист записался. Говорит влом уже 26 раз новогоднее обращение записывать.
Да можно старое пустить, никто не заметит подвоха. Это был тяжёлый год и далее по тексту
По нашим данным, он уже много лет использует подобные инструменты разработки советских ученых 80-х годов.
Две секунды? Да в пизду, даже тестить не буду.
Да, очень как-то жадно.
И снова новая технология от ИИ, которая является неоднозначной. С одной стороны - прикольно, с другой стороны - в неправильных руках может быть использовано в не самых хороших целях