Сразу предупреждаю, что проект не профессиональный и не коммерческий, сделал просто для себя, еще есть куда расти (фильмов в базе пока что только 200) и что улучшать. Но уже можно попробовать в Google Play по ссылке:
Открываем апку, нажимаем по кнопке - открывается камера либо выбираем фото из галереи, далее обрезаем полученное изображение, оно высылается на сервер, где происходит поиск и через пару секунд результатом мы получаем желаемый фильм со всей важной информацией
В принципе вот и все, очень просто. На странице фильма есть еще кнопка Google по которой сразу переходим в поисковик с запросом полученной картины, а на главной странице сохраняется история поиска по фильмам.
Техническая часть. Расскажу еще вкратце как работает. В базе на данный момент, как я сказал, только 200 фильмов. Каждый из которых был прогнан через Adobe After Effects и разбит на кадры (по одному за секунду), далее с помощью openCV похожие кадры были удалены из каждого фильма, в итоге их осталось около 1000 на каждую картину. Далее шло обучение модели, которая из себя представляет регрессионное дерево, с помощью которого и происходит поиск оригинального фильма.
Остается только вытянуть с IMDB оценки фильмов, описания, года и географию, закинуть все в базу данных; поднять веб-сервер, написать на Java Android приложение; связать все вместе и выложить в стор.
Как пет проект интересно, но странный юзкейс, в какой ситуации у вас есть скрин из фильма и нет описания (и вы хотите узнать что за фильм)? Приходят в голову только какие-то вставки в ролики и мемы, но там как правило одни и те же 20 фильмов и популярные кадры, которые и гугл определит
В тиктоке, например, часто попадаются вырезки из интересных фильмов без названий, с закрытыми комментариями и ссылкой на телеграм-канал, где надо искать это название полчаса.
А с учётом обрезки кадра фильма ТикТоком — сервис справляется или нет? 🌚
Зависит от кадра, если сделать несколько вероятность увеличивается
В моем случае это скорее "интересные вырезки из простых фильмов". Иногда откровенный кал постят, и потом находишь себя в тонне неизвестных пабликов :(
А найдет ли так программка - там обычно обрезают под формат вертикального видео, но согласен - кейс вообще реальный.
Включаю телевизор в какой-нибудь Турции. Показывают интересный фильм, но, почему-то, на турецком. Как посмотреть название хз, гуглить программу передач в Турции тоже не очень затея. Фотографирую - ищу.
Это, кстати, не выдуманная история.
Тоже не могу представить где у меня есть кадр фильма (который я смотрю) но нет инфы, что я смотрю.
Мемы, вставки в ютуб, кейсы есть но очень специфичные
Хотя ладно, в coub иногда хочется найти соус.
Судя по тиктоку - это было бы хитом.
Там каждый второй гусь - тупой и не может в яндекс картинках вставить срин или по тексту прогуглить, а каждый второй автор поста с кадрами из фильма - хочет накрутить подписоту и не пишет название фильма.
Поиск порнушки по конкретному кадру. Идея - огонь. Ещё подключиться к реферальным программам крупных студий - с монетизацией тоже все будет ок
Скорее сделать под каждым фильмом реферальные ссылки на сайты с просмотром - как сейчас сделал кинопоиск.
Идея бомба.
а вот и нет.
Тот же поиск по картинкам яндекса или гугла легко найдёт фильм по скриншотам
нет, не найдет - не каждый кадр фильма есть в веб и проиндексирован.
А не проще распознавать по аудиодорожке?
Кажется, что с видео много геморроя.
Ваще тут стоит подумать про сценарий использования.
С дорожкой круто придумано, но это разный дубляж учитывать.
Другое дело искать по кадру, но если по дорожке искать легче, то оправдан поиск по изображению только в ситуации, если фильм идёт без звука.
Честно говоря, таких сценариев сразу в голову не приходит.
Как идея, часто сидя в баре музыка играет одна, а видео другое. Если клип зацепил видеорядом, то было бы круто найти его такой прилагой.
Просто наподумать, может пришло бы больше пользователей, если бы распознавали клипы по кадру?
Вы забываете по Дисней, у него видеоряд может быть разным для разных локализаций
Скриншот сделать проще, чем из того же тик тока сохранять видео.
Вторая тонкость - есть сцены почти без звука.
Еще бы фильм по описанию искать, знаю про такую штуку как гугл, но он не всегда меня понимает )
в яндексе 5-7 лет назад презентовали такую штуку - поиск фильма по описанию. Вполне неплохо тогда получалось
Да идея таже что и у шазама. Вот как раз про модель интересно.. А сколько одна модель весит? И сколько занимает средний поиск по времени? мне кажется в данной задачи эти два параметра решающие, чтобы модели весили мало и быстро находили, ну и конечно чтобы правильно находили источник.
Бро, главное пересканить тонны фильмов, а это куча времени.
успехов! хороших приложений не бывает мало.
Моделька растет с увеличением количества фильмов, а время поиска обычно 4-5 секунд, спасибо за отзыв)
неужели это случилось!!! вы сделали шикарный проект)) теперь можно искать фильмы по картинкам из мемов
надо вот такой поиск: "там мужик едет на грузовике, догоняет кабриолет, а там девчонка едет и его фотографирует, а дальше там не помню что"
Я так же ищу. Причем часто успешно.
Вот пример. "Придурки в лесу самоубиваются" и сразу нужный результат: Убойные каникулы 2010
Убивашки конеш
Может как-то задружиться? У меня есть вот такой проект - https://gdesnimali.ru/filmy/odin-doma-2/
Мы ищем локации из фильмов и даем точное их описание, ссылки на локацию на гугл картах и фотки из фильма + из реального мира.
По вопросу подключения к IMDB - у них раньше лежали просто ajax файлы всей их базы и они их без проблем давали скачать. Сейчас вот вроде какой-то API сделали. https://developer.imdb.com/
Я же юзал не официальный питоновский модуль, который тоже очень успешно всю инфу отдает - https://cinemagoer.github.io/
Очень крутая идея!
Можем попробовать, личка открыта)
О, ребята, а можно в ваш клуб? Я как-то писал телеграмм бота, которому ты кидаешь видосик, например с тиктока. Бот анализирует трек, ищет в ютубе по названию и ещё одному весу, качает, конвертирует и кидает файликом mp3 причём со всеми тегами. Думаю, если сделать рефракторинг, то можно добиться пользы от бота. Что скажите?
Давай! Я тоже делал чат бот, который по API к сайту стучится и по названию фильма ищет локации)
Куда стучать?
@Evgeniy_kiryanov - телеграм
Интересная идея, только вот базу набивать придется долго, как с этим проблему решить?
Деньги
Идея супер!
Отлично. А есть сервис по поиску фулла? Друг спрашивает.
Привет, делал для себя бота, который умеет в поиск фулла для друга :)
Если интересно, могу запилить статейку ну и расшарить.
А Фулл можно найти ?
Ответил чуть выше :)
А Яндекс, поиск по картинке, не справляется с задачей?
Поисковики знают только самые известные кадры, для "Побега из Шоушенка" это может быть конечно и все 100 кадров, а для условного "Тихое место" 4-5 изображений. У меня же в среднем 1000 уникальных для каждого фильма
да но ты не забывай что человек обычно знает что смотрит. например через стриминговые сервисы или по телепрограмме.
те врятли кто-то будет фоткать телек...чтобы потом загрузить фотку на распознавание. тем более очевидно что например для восприятия музыки человеку надо секунд 10-30 чтобы понять качает или нет. с фильмами же понравился или нет складывается минут за 30. это я тому что заставит меня использовать поиск. с музыкой понятно понравился мотив... варик запихнуть туда детект объектов - в плане людей - чтобы можно было найти актрису понравившуюся по фотке. - но с этим тоже яндекс норм справится. у него норм детектор на лица.
про локации - вообще бред. ну те поиск локаций по видео/фоткам нужен. но для фильмов это лишнее.
лучше уж систему рекомендаций запилить нормальную. а то все сервисы какую то чушь рекомендуют обычно.
Кстати база не может выдавать точное время кадра скрина?
Это несложно сделать, но пока нет