Мультимодальные модели: интересные проекты по освоению реальности
Периодически поглядываю, как ИИ осваивает реальный мир. Вот парочку интересных проектов на мой взгляд👇🏼
✦ TRIBE v2: открытый симулятор человеческого мозга
Предсказывает активацию мозга человека при восприятии. Модель использует три энкодера для звука, видео и текста. Заявлено что работает точнее МРТ в большинстве случаев
✦ Vibe Coding XR от Google: создание XR-приложений
Приложения создаются за минуты с помощью голосовых или текстовых команд. Использует связку Gemini и XR Blocks. Подходит для демонстраций, образовательных сценариев и др.
✦ Matrix-Game 3.0 от Skywork: ИИ создает игровую вселенную
Предлагает игровую вселенную, генерируемую в реальном времени. Работает в 720p при 40 FPS. Обучение проводилось с использованием Unreal Engine, AAA-игр и реальных видео
✦ VoxCPM2: аудио-модель для 30 языков
Обновленная TTS модель от OpenBMB, обученная на более 2 млн часов аудиоданных. Поддерживает русский язык. Есть новые функции для создания и клонирования голосов
✦ Гигантский набор 3D-сканов человеческих голов
Самая большая база данных человеческих голов в высоком разрешении, созданная ведущей студией по созданию персонажей и захвату движений
Подписывайтесь на Telegram EFEMERA: AI news.