Я копаю тему видеосаммаризации уже месяцок и вижу, что 98% сервисов в интернетике - это тупо поделки для чтения субтитров из ютюбовских видео и саммаризации этого текста нехитрыми ботцами.
Как только даешь им ссылку на видео без титров, он плачут и умирают типа "мы так не умеем". Хваленые сервисы из телеграмчиков примерно такие:
Merlin: can't make summaries for videos without subtitles yet.
Eightify: Unfortunately, subtitles are unavailable for 12% of the videos.
Прежде чем кидать в меня ссылками на сервисы, проверьте плиз их сами.
Интересно найти решения на суммаризации ЛЮБЫХ видосов, а не только говорящих голов или записей интервью.
Давайте возьмем видео вообще без речи и даже музыки и попросим ИИ описать его
Вот вам пример такого видео https://www.youtube.com/watch?v=CLk7A7HXhYQ
А я решил проверить новый Бинг на такой задачке.
Это превратилось в двухдневный баттл.
Заранее скажу, что он справился и что аналогов я не видел.
Итак, открываем Бинг. В Креативном режиме.
can you summarize video from the link "https://youtu.be/vQNVDbgwZvE"
Тут Бинг начинает неистово глючить. Чаще всего он просто находит совершенно другое видео. И честно описывает его. Иногда он цепляется к словам summarize video и начинает пихать в меня сервисы, о которых я писал выше и которые не работают.
А вот если чуть изменить запрос на can you summarize content или даже
can you extract information from ...
он соглашается и выдаст такое:
Hello, this is Bing. I can try to summarize the material on the link you provided. According to the search results1, the link is a YouTube video titled sea waves sound effects by Fits Ma. It is a short video (0:18) that shows a view of the sea waves and the beach in Kerala, India. The video has no narration or music, only the natural sound of the waves. The video was uploaded two years ago and has over 261K views. It is tagged with #nature, #sea, #kerala, #sea wave sound, #kerala beach and #ponnani.
Допинываем:
summarize in detail what is on this video
Sure, I can summarize the video for you. Here is a detailed summary:
The video is a short clip of the sea waves on a beach in Kerala, India.
The video has no narration or music, only the natural sound of the waves crashing on the shore.
The video shows a close-up view of the water and the sand, with some rocks and plants in the background.
The video has a blue and green color scheme, with some white foam from the waves1.
The video is meant to be relaxing and soothing, as indicated by the tags and the comments.
Каково?!?!
The video shows a close-up view of the water and the sand.
The video has no narration or music, only the natural sound of the waves crashing on the shore.
То есть Бинг не просто умеет в мультимодальность, он еще и жрет видосы со звуком, пережевывает их и выплевывает сипопсис.!
Если вам интересно, напишите в коментах или поставьте "огонь" под постом, и я расскажу, как допинать Бинга до суммаризации этого же видео в Балансированном и даже Строгом режиме - когда он напрочь отказывается принимать на вход ссылки или видосы.
Тут лишь напишу, что в строгом режиме его можно вывести на вот такое описание:
YouTube video titled “sea waves sound effects” by a user named Fits Ma. The video appears to feature nature sounds, including sea waves. The video is tagged with keywords such as “nature,” “sea,” “kerala,” “sea wave sound,” “kerala beach,” and “ponnani”
Хотя на других видосах я допинал в строгом режиме до вот такого:
It’s a 30-minute video of ocean waves rolling into a misty beach surrounded by high cliffs. The video features the natural sounds of the ocean (no music) in high-quality stereo. The video was filmed in The Cape of Good Hope section of Table Mountain National Park, South Africa. It’s intended to help viewers unwind and relax by enjoying the beauty and peace of nature.
В общем давайте покачаем тему саммаризации видосов в коментах.
Скажу сразу, что you.com нещадно глючит и в ответ на ссылку пытается суммаризировать совершенно другие видео.
Пишите свои решения и эксперименты.