Китайский гигант доставки Meituan выложил под MIT модель говорящих и поющих аватаров на 10+ минут: вслепую обошла HeyGen, но попросит RTX 3090
Облачные сервисы говорящих голов держат авторов на поминутном тарифе, а китайский суперапп доставки Meituan только что открыл под лицензией MIT модель LongCat-Video-Avatar 1.6 для десятиминутных монологов и вокала.
От эстрадного вокала до диалога двух людей в одном кадре
На вход достаточно подать одну статичную фотографию человека и аудиодорожку с речью или песней (либо текстовое описание сцены со звуком). Основной репозиторий на GitHub у команды общий со всей видеолинейкой, поэтому свежую галерею версии 1.6 вынесли на отдельную витрину релиза и карточку Hugging Face. Там выложены семь рабочих режимов: сольное пение, актёрская подача, стримы и даже беседа двух персонажей в одном кадре, где каждый открывает рот строго под свою дорожку.
Разница со старым опенсорсом вроде Wav2Lip и SadTalker видна на протяжных гласных и паузах. Звук разбирает крупный кодировщик Whisper-large, а пластику лица довели обучением с подкреплением (GRPO): спикер не разевает рот как рыба на каждом громком слоге, вовремя смыкает губы, естественно поводит плечами и не замирает стеклянной фотографией между фразами.
Слепая дуэль на 33 тысячи голосов: разгром HeyGen и честный потолок
Нагенерить удачный восьмисекундный кусок для промо-страницы сегодня умеют многие, поэтому мы сразу полезли в технический отчёт смотреть слепые замеры. Инженеры Meituan прогнали 508 одинаковых пар из портрета и голоса через шесть систем и отдали ролики людям, сдавшим входной тест на внимательность с точностью выше 80%. На дистанции в 33 тысячи парных дуэлей открытая модель уверенно заняла второе место: зрители выбирали её в 72,2% очных встреч против платного HeyGen и в 76,6% против закрытой Kling Avatar 2.0.
В том же отчёте авторы спокойно объяснили, за счёт чего первую строчку удержала коммерческая OmniHuman-2.0 от BytePlus. Закрытый лидер агрессивно дорисовывает контраст ресниц, прядей волос и пор кожи поверх исходного кадра. При быстром сравнении двух плееров такая искусственная резкость цепляет взгляд сильнее, хотя артикуляция у OmniHuman-2.0 местами уходит в лишнюю театральность. Модель Meituan глянец поверх снимка не наводит и бережно сохраняет исходную фактуру лица.
Почему к десятой минуте у ведущего больше не малиновеют губы
Главная беда длинных генеративных роликов кроется на стыках склеек. Когда десятиминутный выпуск собирается отрезок за отрезком от последних кадров предыдущего куска, мелкая ошибка цвета накапливается как снежный ком. Уже к концу первой минуты у цифрового ведущего плыли скулы, зеленели зубы, а губы наливались ядовито-розовой краской.
Переобучать тяжёлое базовое ядро с нуля не стали и решили задачу двумя компактными LoRA-адаптерами. Сначала дистилляцией DMD2 генерацию сжали с пятидесяти шагов очистки шума до восьми и поправили траекторию звукового наведения, убрав пересвет кожи. Затем модель прогнали через самообучение на двадцатисекундных цепочках её же собственных склеек под контролем модели-учителя (OPSD), пока поломки цвета и разрешения не упали с 3,1% до 0,0%. На выходе спикер без распада черт выговаривает десятиминутный монолог почти на пятнадцать тысяч кадров в одном и том же пиджаке.
Считаем экономику: за какие гигабайты платим вместо подписки
Код и веса открыты на GitHub и Hugging Face под лицензией MIT, так что модель можно без юридических оговорок встраивать в закрытые студийные пайплайны и клиентский продакшен. В архив сразу положили облегчённую восьмибитную версию базового трансформера (ключ --use_int8) и поддержку быстрого серверного формата FP8.
Но бесплатные веса не отменяют физику видеопамяти. На офисном ноутбуке с восемью гигабайтами это не взлетит: комфортный рендер длинных сцен начинается от карты на 24 гигабайта уровня RTX 3090 или RTX 4090, а штатные примеры запуска в репозитории рассчитаны на узел из двух GPU. Есть и честный нюанс для аниматоров: на живых людях оценка естественности выросла с 3,08 до 3,44 из пяти, а на рисованных и мультяшных героях чуть просела (с 2,25 до 2,11) из-за нехватки длинных мультфильмов в датасете склеек. Зато для команд, которые потоком клепают говорящих ведущих, локализацию видеокурсов или музыкальные клипы на своей рабочей станции либо арендном GPU-сервере, поминутный счётчик облачных сервисов закрывается навсегда.
Свежие релизы открытых моделей, замеры на живом железе и рабочие инструменты с GitHub без пересказа пресс-релизов разбираем в Telegram-канале Синдикат.