Нейросеть от Captions для генерации видео с людьми по записи голоса — первые примеры из соцсетей
Пока модель Mirage доступна в закрытой бета-версии.
- Пользователи в соцсетях начали делиться генерациями нейросети Mirage от разработчиков Captions — видеоредактора с ИИ-функциями. Она создаёт видео «эмоциональных» аватаров только по аудиозаписи голоса — «без референсных изображений».
Результаты генераций видео по аудиозаписи в Mirage. Источник: Angry Tom
- Глава Captions и бывший исследователь в Google DeepMind Дрю Джегл показал примеры роликов, в которых нейросеть считала эмоции в голосе и подобрала внешность спикера по языку или акценту.
Источник: Drew Jaegle
- Однако в роликах видно, что изображение не всегда получается чётким, а некоторые пользователи пишут, что аватары выглядят, как «силикон, натянутый на каркас».
- Компания анонсировала модель 25 февраля 2025 года. Её планируют сделать доступной для коммерческого использования «в ближайшие пару недель». Для тестирования нужно записаться в лист ожидания.
Судя по примерам, пока нейросеть генерирует видео длиной до двух секунд. Их можно продлить в других сервисах и синхронизировать движение губ с аудио. Источник: Robin Delta
- Captions основали в 2021 году Гаурав Мисра и Дуайт Чёрчилл. В видеоредакторе есть функции создания субтитров и «нейродубляжа», в том числе на русском, а также генераторы ИИ-аватаров и видеорекламы.
- В июле 2025 года стартап привлёк $60 млн от Index Ventures, Andreessen Horowitz, Sequoia Capital, Kleiner Perkins, Adobe Ventures, HubSpot Ventures и музыканта и актёра Джареда Лето при оценке в $500 млн.
13 комментариев