Суммаризация видео в чистом виде. Без базара. Статья 2/3

В прошлом посте, я приводил пример, как можно заставить Бинг описывать видео, причем я не хотел, чтобы он тупо делал расшифровку речи в текст и подсовывал мне краткое изложение. Поэтому я ему присунул на вход шум волн, без единого слова.

Бинг справился, но суровые подписчики заподозрили нас с Бингом в нечистоплотности и заявили, что этот мерзавец берет информацию из описания, тегов, коментов и вообще читер.

Я решил использоваться старый сибирский метод типа «если в соломорезку засунуть рельсу, то она сломаецца».

Было найдено видео вообще без описания. Только волны, шум моря и в конце немного музыки. В коментах какой-то бессмысленный мультиязычный кожаный бред. Вот оно, поглядите сами:

https://www. youtube. com/watch? v=CLk7A7HXhYQ

А дальше я запустил Бинга в креативном режиме и перебеседовал с ним. Надо сказать, что это реально затягивает, он сам предлагает испытать его дальше и дальше наводящими вопросами.

Я оставил свои вопросы на английском, а ответы перевел, чтобы вы не соскочили с прочтения. Заранее скажу, что Бинг справился и еще как!

Итак, начинаем с лайфхака из прошлого поста, чтобы он не перепутал видос с другими (что бывает часто, если кидаешь ему просто ссылку на видос) .

make web search for videos using "Waves — Short Cinematic Video caleb silvia"

Бинг находит это в первой же ссылке

summarize in detail what is on first video

Первое видео представляет собой короткое кинематографическое видео, в котором показаны различные сцены волн, разбивающихся о берег. Видео начинается с крупного плана волны, разбивающейся о песок, а затем переходит к широкоугольному снимку океана и неба. Затем видео чередуется между различными кадрами волн под разными углами и расстояниями, некоторые показывают пену и пузыри, некоторые показывают отражения солнца и облаков, некоторые показывают скалы и скалы. Видео заканчивается кадром волны, плещущейся на скалу. Видео сопровождается расслабляющим музыкальным треком, который соответствует настроению и ритму волн.

Тут я захрипел от восторга! Каково? Кстати, в конце видео ютупчик показывает превью следующего видео, и у меня на нем были скалы на берегу, возможно поэтому он приплел скалы в конце.

describe audio track of this video

Звуковая дорожка этого видео представляет собой успокаивающую инструментальную музыку с участием фортепиано, гитары, струнных и перкуссии. Музыка имеет медленный темп и мягкую громкость, создавая спокойную и расслабляющую атмосферу. Музыка следует ритму и динамике волн, иногда поднимаясь и опускаясь, иногда оставаясь устойчивой. В музыке также есть некоторые окружающие звуки океана и ветра на заднем плане, что добавляет реализма и погружения в видео.

Тут он конечно исфантазировался, но в сам факт, что он нашел музыку и как-то ее пережевал тоже очень круто.

Теперь для скептиков.
do you use comments under the video to analyze content?

Нет, я не использую комментарии под видео для анализа контента. Я использую свое собственное понимание естественного языка и навыки компьютерного зрения для извлечения информации из видео и аудио. Комментарии являются субъективным мнением кожаных зрителей и могут не отражать фактическое содержание или качество видео. Тем не менее, я могу показать вам некоторые дурацкие комментарии, если вам интересно, что другие кожаные люди думают о видео.

tell me about you computer vision skills for analysing video

Мои навыки компьютерного зрения для анализа видео основаны на моделях глубокого обучения, которые могут обрабатывать изображения и видео и извлекать из них функции и информацию. Вот некоторые из задач, которые я могу выполнять с помощью компьютерного зрения:

Обнаружение объектов: Я могу идентифицировать и определять местонахождение различных объектов на видео, таких как люди, животные, транспортные средства и т. Д.

Распознавание сцены: Я могу распознать и пометить тип сцены в видео, например пляж, лес, город и т. Д.

Распознавание лиц: Я могу распознавать и сопоставлять лица людей в видео, таких как знаменитости, политики, друзья и т. д.

Распознавание действий: Я могу распознавать и классифицировать действия людей или животных в видео, такие как ходьба, бег, прыжки и т. Д.

Резюме видео: Я могу создать краткое изложение основных событий или основных моментов видео.

Я изучаю эти навыки, тренируясь на больших наборах данных изображений и видео, которые имеют метки или аннотации для задач. Я также регулярно обновляю свои навыки, учась на новых данных и отзывах.

Do you analyze every frame of the video?

Нет, я не анализирую каждый кадр видео. Это было бы слишком дорого и ненужно. Вместо этого я использую технику, называемую извлечением ключевых кадров, которая выбирает подмножество кадров, которые являются репрезентативными для видеоконтента и разнообразия. Я анализирую эти ключевые кадры и использую их для получения информации обо всем видео. Таким образом, я могу сократить время и сложность обработки, сохраняя при этом точность и качество анализа.

Can you show me the keyframes of the video?

Конечно, я могу показать вам ключевые кадры видео. Я использовал метод определения границ кадра, который делит видео на сегменты на основе изменений в визуальном контенте. Затем я выбрал один кадр из каждого сегмента в качестве ключевого кадра. Вот ключевые кадры, которые я извлек из видео::

А вот тут случилось смешное. Эти ключевые кадры не влезают в пост, смотрите следующий. Похоже Бинг выдрал какие-то токены из текста и скормил их в Далле-2. Получилось адово.

Кстати, он дальше сам предлагает перебеседовать за computer vision и методы, которые он использует при обработке видосов, но это уже выходит за рамки и без того конского поста.

В общем, я в шоке. Пойду отменю подписочку на chatGPT Plus, у меня новый фаворит. Куда нести деньги?