Maksim Khameta

Flim — как Shazam, только для фильмов

Сразу предупреждаю, что проект не профессиональный и не коммерческий, сделал просто для себя, еще есть куда расти (фильмов в базе пока что только 200) и что улучшать. Но уже можно попробовать в Google Play по ссылке:

Открываем апку, нажимаем по кнопке - открывается камера либо выбираем фото из галереи, далее обрезаем полученное изображение, оно высылается на сервер, где происходит поиск и через пару секунд результатом мы получаем желаемый фильм со всей важной информацией

Скриншоты с приложения Flim

В принципе вот и все, очень просто. На странице фильма есть еще кнопка Google по которой сразу переходим в поисковик с запросом полученной картины, а на главной странице сохраняется история поиска по фильмам.

Техническая часть. Расскажу еще вкратце как работает. В базе на данный момент, как я сказал, только 200 фильмов. Каждый из которых был прогнан через Adobe After Effects и разбит на кадры (по одному за секунду), далее с помощью openCV похожие кадры были удалены из каждого фильма, в итоге их осталось около 1000 на каждую картину. Далее шло обучение модели, которая из себя представляет регрессионное дерево, с помощью которого и происходит поиск оригинального фильма.

Остается только вытянуть с IMDB оценки фильмов, описания, года и географию, закинуть все в базу данных; поднять веб-сервер, написать на Java Android приложение; связать все вместе и выложить в стор.

0
47 комментариев
Написать комментарий...
Gollut

Как пет проект интересно, но странный юзкейс, в какой ситуации у вас есть скрин из фильма и нет описания (и вы хотите узнать что за фильм)? Приходят в голову только какие-то вставки в ролики и мемы, но там как правило одни и те же 20 фильмов и популярные кадры, которые и гугл определит

Ответить
Развернуть ветку
Андрей Донской

В тиктоке, например, часто попадаются вырезки из интересных фильмов без названий, с закрытыми комментариями и ссылкой на телеграм-канал, где надо искать это название полчаса.

Ответить
Развернуть ветку
Speedwagon MMXXII

А с учётом обрезки кадра фильма ТикТоком — сервис справляется или нет? 🌚

Ответить
Развернуть ветку
Maksim Khameta
Автор

Зависит от кадра, если сделать несколько вероятность увеличивается

Ответить
Развернуть ветку
Андрей Кормилицын

В моем случае это скорее "интересные вырезки из простых фильмов". Иногда откровенный кал постят, и потом находишь себя в тонне неизвестных пабликов :(

Ответить
Развернуть ветку
Евгений Кирьянов

А найдет ли так программка - там обычно обрезают под формат вертикального видео, но согласен - кейс вообще реальный.

Ответить
Развернуть ветку
Пуганный Аноним

Включаю телевизор в какой-нибудь Турции. Показывают интересный фильм, но, почему-то, на турецком. Как посмотреть название хз, гуглить программу передач в Турции тоже не очень затея. Фотографирую - ищу.
Это, кстати, не выдуманная история.

Ответить
Развернуть ветку
Трагический якорь

Тоже не могу представить где у меня есть кадр фильма (который я смотрю) но нет инфы, что я смотрю.

Ответить
Развернуть ветку
Andy

Мемы, вставки в ютуб, кейсы есть но очень специфичные

Ответить
Развернуть ветку
Трагический якорь

Хотя ладно, в coub иногда хочется найти соус.

Ответить
Развернуть ветку
Луиджи Вампа

Судя по тиктоку - это было бы хитом.
Там каждый второй гусь - тупой и не может в яндекс картинках вставить срин или по тексту прогуглить, а каждый второй автор поста с кадрами из фильма - хочет накрутить подписоту и не пишет название фильма.

Ответить
Развернуть ветку
Sergey Zuev

Поиск порнушки по конкретному кадру. Идея - огонь. Ещё подключиться к реферальным программам крупных студий - с монетизацией тоже все будет ок

Ответить
Развернуть ветку
Евгений Кирьянов

Скорее сделать под каждым фильмом реферальные ссылки на сайты с просмотром - как сейчас сделал кинопоиск.

Ответить
Развернуть ветку
Maksim Georgiev

Идея бомба.

Ответить
Развернуть ветку
cdsfawg fdrterghfgn

а вот и нет.
Тот же поиск по картинкам яндекса или гугла легко найдёт фильм по скриншотам

Ответить
Развернуть ветку
Mihail Penkin

нет, не найдет - не каждый кадр фильма есть в веб и проиндексирован.

Ответить
Развернуть ветку
Roman Trifonov

А не проще распознавать по аудиодорожке?

Кажется, что с видео много геморроя.

Ответить
Развернуть ветку
Павел Каспаров

Ваще тут стоит подумать про сценарий использования.
С дорожкой круто придумано, но это разный дубляж учитывать.
Другое дело искать по кадру, но если по дорожке искать легче, то оправдан поиск по изображению только в ситуации, если фильм идёт без звука.
Честно говоря, таких сценариев сразу в голову не приходит.
Как идея, часто сидя в баре музыка играет одна, а видео другое. Если клип зацепил видеорядом, то было бы круто найти его такой прилагой.
Просто наподумать, может пришло бы больше пользователей, если бы распознавали клипы по кадру?

Ответить
Развернуть ветку
saratovout

Вы забываете по Дисней, у него видеоряд может быть разным для разных локализаций

Ответить
Развернуть ветку
Евгений Кирьянов

Скриншот сделать проще, чем из того же тик тока сохранять видео.

Вторая тонкость - есть сцены почти без звука.

Ответить
Развернуть ветку
Лена Куртасова

Еще бы фильм по описанию искать, знаю про такую штуку как гугл, но он не всегда меня понимает )

Ответить
Развернуть ветку
cdsfawg fdrterghfgn

в яндексе 5-7 лет назад презентовали такую штуку - поиск фильма по описанию. Вполне неплохо тогда получалось

Ответить
Развернуть ветку
Максим Киселев

Да идея таже что и у шазама. Вот как раз про модель интересно.. А сколько одна модель весит? И сколько занимает средний поиск по времени? мне кажется в данной задачи эти два параметра решающие, чтобы модели весили мало и быстро находили, ну и конечно чтобы правильно находили источник.
Бро, главное пересканить тонны фильмов, а это куча времени.
успехов! хороших приложений не бывает мало.

Ответить
Развернуть ветку
Maksim Khameta
Автор

Моделька растет с увеличением количества фильмов, а время поиска обычно 4-5 секунд, спасибо за отзыв)

Ответить
Развернуть ветку
Olga Batalova

неужели это случилось!!! вы сделали шикарный проект)) теперь можно искать фильмы по картинкам из мемов

Ответить
Развернуть ветку
Миша Магадан

надо вот такой поиск: "там мужик едет на грузовике, догоняет кабриолет, а там девчонка едет и его фотографирует, а дальше там не помню что"

Ответить
Развернуть ветку
Максим Гомбоев

Я так же ищу. Причем часто успешно.
Вот пример. "Придурки в лесу самоубиваются" и сразу нужный результат: Убойные каникулы 2010

Ответить
Развернуть ветку
Николай Коллайдер

Убивашки конеш

Ответить
Развернуть ветку
Евгений Кирьянов

Может как-то задружиться? У меня есть вот такой проект - https://gdesnimali.ru/filmy/odin-doma-2/

Мы ищем локации из фильмов и даем точное их описание, ссылки на локацию на гугл картах и фотки из фильма + из реального мира.

По вопросу подключения к IMDB - у них раньше лежали просто ajax файлы всей их базы и они их без проблем давали скачать. Сейчас вот вроде какой-то API сделали. https://developer.imdb.com/

Я же юзал не официальный питоновский модуль, который тоже очень успешно всю инфу отдает - https://cinemagoer.github.io/

Ответить
Развернуть ветку
Евгений Данилов

Очень крутая идея!

Ответить
Развернуть ветку
Maksim Khameta
Автор

Можем попробовать, личка открыта)

Ответить
Развернуть ветку
Chris Luck

О, ребята, а можно в ваш клуб? Я как-то писал телеграмм бота, которому ты кидаешь видосик, например с тиктока. Бот анализирует трек, ищет в ютубе по названию и ещё одному весу, качает, конвертирует и кидает файликом mp3 причём со всеми тегами. Думаю, если сделать рефракторинг, то можно добиться пользы от бота. Что скажите?

Ответить
Развернуть ветку
Евгений Кирьянов

Давай! Я тоже делал чат бот, который по API к сайту стучится и по названию фильма ищет локации)

Ответить
Развернуть ветку
Chris Luck

Куда стучать?

Ответить
Развернуть ветку
Евгений Кирьянов

@Evgeniy_kiryanov - телеграм

Ответить
Развернуть ветку
Chris Luck

Интересная идея, только вот базу набивать придется долго, как с этим проблему решить?

Ответить
Развернуть ветку
Andy

Деньги

Ответить
Развернуть ветку
Креатива и поБольШе

Идея супер!

Ответить
Развернуть ветку
Ba Anh Doan

Отлично. А есть сервис по поиску фулла? Друг спрашивает.

Ответить
Развернуть ветку
Chris Luck

Привет, делал для себя бота, который умеет в поиск фулла для друга :)

Если интересно, могу запилить статейку ну и расшарить.

Ответить
Развернуть ветку
ГГ ВП

А Фулл можно найти ?

Ответить
Развернуть ветку
Chris Luck

Ответил чуть выше :)

Ответить
Развернуть ветку
A.A. Rayskiy

А Яндекс, поиск по картинке, не справляется с задачей?

Ответить
Развернуть ветку
Maksim Khameta
Автор

Поисковики знают только самые известные кадры, для "Побега из Шоушенка" это может быть конечно и все 100 кадров, а для условного "Тихое место" 4-5 изображений. У меня же в среднем 1000 уникальных для каждого фильма

Ответить
Развернуть ветку
Максим Киселев

да но ты не забывай что человек обычно знает что смотрит. например через стриминговые сервисы или по телепрограмме.
те врятли кто-то будет фоткать телек...чтобы потом загрузить фотку на распознавание. тем более очевидно что например для восприятия музыки человеку надо секунд 10-30 чтобы понять качает или нет. с фильмами же понравился или нет складывается минут за 30. это я тому что заставит меня использовать поиск. с музыкой понятно понравился мотив... варик запихнуть туда детект объектов - в плане людей - чтобы можно было найти актрису понравившуюся по фотке. - но с этим тоже яндекс норм справится. у него норм детектор на лица.

про локации - вообще бред. ну те поиск локаций по видео/фоткам нужен. но для фильмов это лишнее.

лучше уж систему рекомендаций запилить нормальную. а то все сервисы какую то чушь рекомендуют обычно.

Ответить
Развернуть ветку
Александр Силиванов

Кстати база не может выдавать точное время кадра скрина?

Ответить
Развернуть ветку
Maksim Khameta
Автор

Это несложно сделать, но пока нет

Ответить
Развернуть ветку
Читать все 47 комментариев
null