Новый агентный режим обработки видео в Gemini от Google
Так же Google выпустили новый агентный режим обработки видео в Gemini
В этом режиме у модели теперь есть больше свободы выбора и тулов для понимания видео:
- Анализировать одновременно картинку, аудио и транскрипт
- Менять FPS и разрешение
- Переходить к нужному таймкоду и запрашивать отдельные кадры
- Делать транскрипт отдельных участков
- Повторять несколько циклов анализа подряд
Для контекста, раньше Gemini просто заранее семплировал видео целиком, примерно 1 кадр/сек + аудио, и просто читал размеченные таймстемпы
Поэтому новый режим дешевле, быстрее и точнее (гляньте видео)
Сейчас только по API, для моделей Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite.
Позже они хотят еще интегрировать его в Ask YouTube
Да, у Google не самые умные модели, но для агентного понимания видео как будто ничего лучше сейчас не существует ☕