{"id":7725,"title":"\u041c\u043e\u0441\u043c\u0435\u0442\u0440\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u043b\u0438 \u043d\u0430 \u0447\u0430\u0441\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0438 \u043b\u0438\u0446","url":"\/redirect?component=advertising&id=7725&url=https:\/\/vc.ru\/promo\/306052-v-metro-moskvy-teper-mozhno-platit-za-proezd-licom-sprosili-avtorov-proekta-kak-eto-rabotaet&placeBit=1&hash=1a23ae72488790d266f074c318177ed55db913e2e0bf5b3cbc11221f61048c67","isPaidAndBannersEnabled":false}
Сервисы
SberDevices

Пиджак Бреда Питта и диадема королевы. Рассказываем о Layer, платформе для покупок из фильмов

Прямо во время просмотра фильма вы можете выбрать пиджак или джинсы, как у главного героя, узнать подробнее о месте проведения съемки и купить туда билет. Как это работает, рассказывает Екатерина Пинчук, директор по продукту платформы Layer, разработанной в SberDevices.

Екатерина Пинчук
Знает всё о футболках поло и шлемах штурмовика

Купи «из телевизора»

Возможно, у вас возникли ассоциации со знаменитыми «магазинами на диване», где милая девушка рассказывает про товары из телевизора. Но наш продукт не об этом, он не предлагает абстрактные товары. Layer — это платформа распознавания объектов в видео и на фото, которая считывает не только лица актеров, но и одежду героев, а затем показывает распознанные объекты и привязанные товары партнёров, узнает места проведения съемок и предлагает купить туда билеты. Например, нейросеть поймёт, что на экране Замок Святого Ангела из «Римских каникул» и предложит купить билеты на самолёт прямо до города, в котором вы можете увидеть достопримечательность.

Paramount Pictures (с), 1953, кадр из фильма "Римские каникулы".

Как это работает — я рассказываю на видео ниже.

Например, вам понравилось платье главной героини. Нажмите на паузу — и вы увидите похожие товары от онлайн-магазинов вроде Lamoda или Ozon: система распознавания от Layer найдёт всё самое подходящее. Ваш сын — фанат вселенной Marvel? Вы можете заказать для него мерч с любимыми героями прямо из фильма.

После того, как вы поставили просмотр фильма на паузу, отсканируйте QR-код товара, который предложил Layer. Оплатить покупку можно сразу либо оставить это на потом и спокойно вернуться к просмотру фильма, не опасаясь, что товар исчезнет.

Показать, например, одежду любимого актера, то есть товар, который зрителю самостоятельно найти непросто, – это и есть упрощение пользовательского пути. Его обеспечивает сложная технология.

Paramount Pictures(с), 2008. Кадр из фильма "Загадочная история Бенджамина Баттона".

Мгновенное распознавание

В основе платформы Layer — ML-движок. В онлайн-кинотеатре Okko на устройствах Sber платформа анализирует каждый кадр из фильма и моментально связывает распознанное изображение с товарами от партнёра. Для пользователя это происходит незаметно, хотя “под капотом” работает многоэтапная и сложная система. В зависимости от ситуации может задействоваться несколько нейросетей и различных вычислительных модулей. Ведь перед тем, как что-то сравнивать и связывать, это что-то в кадре нужно найти и локализовать, затем, возможно, повернуть или выравнять, а после – ещё и отслеживать в следующих сценах. Для последнего и главного этапа, т.е. поиска похожих товаров, мы применяем достаточно сложный подход – метрическое обучение. В нём модель учится “описывать” объект таким образом, чтобы потом его схожесть с товаром можно было оценить численно.

Наши алгоритмы работают быстро и достаточно корректно, но в случае с некоторыми топовыми фильмами мы используем дополнительную модерацию – для подстраховки перепроверяем автоматический результат. Мы дорожим нашими пользователями и хотим предлагать им рубашки с правильным воротом, а платья – в горошек размером точно как у главной героини. Технологии Layer открывают интересные возможности для бизнеса: к нам может прийти любая компания и попросить упомянуть, что в кадре находится товар, похожий на их продукт (либо это он и есть).

Количество фильмов, в которых работает Layer, постоянно растёт: мы добавляем по 300 фильмов и 2–3 сериала в неделю.

Одно из наших умных устройств — ТВ-медиацентр SberBox Top. С его помощью легко запускать фильмы и сериалы тем способом, который удобнее в данный момент – используя пульт или голосовое управление. В приставке спрятано множество функций, в том числе и Layer.

Почему категория «Товары к фильму» особенная и что мы туда добавляем

Категория «Товары к фильмам» — отдельное направление. Это товары, которые так или иначе связаны с фильмом. Мы даём возможность зрителю купить их. Это может быть фигурка человека-паука или диадема как у королевы.

Company Pictures (с), 2013, из сериала "Белая королева".

С этой категорией мы работали отдельно, и сегодня она актуальна для 29 000 фильмов. Каждую неделю этот показатель увеличивается на 500–1000 названий. Зрители любят покупать что-то связанное с интересным им кино, мы это видим.

Поначалу мы настроили алгоритм так, что он подтягивал в раздел «Товары к фильму» около 100-150 позиций из каталогов партнёров. Мы поняли, что это слишком много, — никто не будет просматривать такое количество товаров на экране телевизора. Поэтому мы сократили количество позиций до 40-50 и стараемся показывать самое подходящее, то, что, по нашему мнению, зрителям захочется купить в момент просмотра фильма.

Товары к кинолентам подтягиваются в основном к приключенческим и фантастическим картинам: вселенной Marvel, лентам Disney и другим. А ещё мы добавляем мерч к старым культовым фильмам, даже если смотрят их не так часто, как новинки.

Оказывается, есть фильмы, в которых пользователи специально переходят к отдельным эпизодам, чтобы поставить их на паузу. Один из примеров — сцена из «Звёздных войн», в которой штурмовик ударяется головой о поднимающуюся дверь.

Lucasfilm Ltd. LLC/Walt Disney Studios (с), 1977, "Звёздные войны". 

К таким популярным стоп-кадрам мы тоже привязываем товары. В случае со «Звёздными воинами», конечно, не обошлось без шлема штурмовика.

Если товар у партнёра заканчивался, зритель его уже не видел в кадре.

При добавлении товаров к фильмам важно угадать настроение пользователя. Например, перед Новым годом мы добавили к тематическим картинам ёлочные игрушки, и они пользовались спросом — во время просмотра таких фильмов хочется создать дома праздничное настроение и уют. Кстати, пользователи интересовались новогодними товарами даже в марте 2021 года — через три месяца после праздника.

С какими сложностями столкнулась наша команда и как мы их решили

Иногда при распознавании нейросеть встречается со специфическими случаями, когда идентифицировать актёра или одежду достаточно сложно. Даже человеку не всегда удается определить, кто находится в кадре, если на актёра почти не падает свет, он не в фокусе или в сцене есть спецэффекты. Но мы научили ML-движок не путать близнецов, узнавать актёров в темноте и даже в гриме. Теперь в «Джокере» сетка в любой точке фильма распознаёт Хоакина Феникса, в гриме и без.

Warner Bros.(с), 2019, кадр из фильма "Джокер".

А как мы намучились с футболками поло! Система их видела, но в качестве связанных товаров предлагала пользователю обычные футболки – без воротника. Нам приходилось тратить много времени на модерацию, чтобы оставить в выдаче именно футболки поло.

Благодаря постоянной работе над точностью распознавания за полгода мы сократили время модерации таких кейсов в пять раз. К концу 2022 года мы планируем полностью отказаться от дополнительной ручной проверки.

MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".
Два результата распознавания футболок поло нейросетью. Мы научили ее не путать поло с обычными футболками. MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".

Схожая проблема была с закатанными рукавами классических рубашек. Нейросеть видела только длину рукава и предлагала пользователю рубашку с коротким. Такой вариант для нас был неприемлем. Мы оптимизировали работу сети, чтобы она показывала и рубашки с длинным рукавом. Также система поначалу не могла «узнать» худи, если актёры стояли лицом к камере и капюшона не было видно. Но мы научились справляться и с такими ситуациями.

MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".
Нейросеть научилась распознавать в кадре рубашки с длинным рукавом, даже если они закатаны. MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".

Что мы собираемся делать с Layer дальше

Зрители активно используют Layer уже сейчас: платформа работает в 96% фильмов, которые они смотрят на наших устройствах. Но мы понимаем, что это не предел. Поскольку ML-движок способен распознавать объекты в реальном времени, мы готовимся добавить возможность распознавания ТВ-контента. Пользователи смогут узнать, кто играет в любимом сериале, и купить одежду прямо во время просмотра ТВ.

Сейчас можно сказать, что многие покупки на Layer — спонтанные: зрители часто хотят получить товар «прямо сейчас», без чёткого плана. Например, последние две недели наши зрители активно интересуются пиджаками. При этом мы понимаем, что у людей должна быть возможность отложить покупку, обдумать свой выбор и, возможно, дополнить корзину. В скором времени мы добавим раздел с избранными товарами, в который можно будет «сложить» интересующие вещи, а потом — купить их.

В ближайшем будущем мы планируем добавить возможность оплаты товаров прямо в Layer — пользователю не нужно будет брать в руки телефон и заходить на сайт партнёра. Мы полагаем, это увеличит конверсию для партнёров: сейчас некоторые клиенты могут отказываться от покупок после перехода по QR-коду, поскольку на сайте партнёра придётся вспоминать пароль от аккаунта или регистрироваться.

Онбординг зрителей пока тоже в планах: мы будем рассказывать пользователям о возможностях платформы в разделе Видео на устройствах Sber, а также показывать перед началом просмотра известные сцены из фильмов и товары к ним. При этом мы не хотим отпугнуть зрителей навязчивой рекламой.

К распознаванию лиц, вещей и мест мы собираемся добавлять новые категории. К концу года мы стремимся начать распознавать вообще все объекты — как в фильмах, так и в прямом эфире. Кстати, с технологией Layer мы уже вышли на b2b-рынок и начали сотрудничество с некоторыми компаниями. Если вы хотели бы сотрудничать с нами или стать частью нашей команды, пишите нам по адресу: layer@sberbank.ru.

0
10 комментариев
Популярные
По порядку
Написать комментарий...

Жена сказала, перед выходом нового сезона секса в большом городе ей необходима такая  платформа… Вы меня разорите))) А вообще очень крутая идея!)

3

Артём, желаем вашей жене приятного просмотра и удачного шопинга! ;)

2

Диадема-то ваще не та, что в фильме.

1

Андрей, нейросеть подбирает максимально похожие товары в каталоге партнёров. Если наш партнёр-магазин будет продавать именно такую диадему, мы распознаем и покажем зрителю её в первую очередь.

2

Когда Layer станет плагином для браузера?

1

а зачем смотреть кино в браузере?

1

Игорь, здравствуйте! Распознавание контента “на лету” – довольно затратная задача в плане необходимых мощностей. Мы можем встроить нашу функциональность в сайты компаний-партнёров. А пользователям в данный момент готовы предложить распознавание кадров в фильмах, а в скором времени и в ТВ-контенте.

Извините за нескорый ответ =) 

0

Если вы хотите знать больше о том, как умные устройства меняют пространство, в котором мы живём, а вместе с ним — нашу жизнь, слушайте наш подкаст «Я сегодня из дома»: https://shor.by/smarthome. Наш недавний выпуск гарантирует вам здоровый сон!

0

Ну вот стремно то, что ИИ будет подбирать пластиковые диадемы из доступных или отдаленно похожее нечто.

0

А на каких платформах можно протестировать технологию? в Окко на смарт ТВ не работает

0
Читать все 10 комментариев
История одного издательства: как я, будучи инженером-нефтяником, начал выпускать трогательные книги для детей

Всем привет! Меня зовут Александр Шмаков, я исполнительный директор типографии «НП-ПРИНТ» и основатель санкт-петербургского книжного издательства «Гудвин».

«Повышение ключевой ставки не оказало измеримого эффекта на динамику российского рынка акций»

Виталий Исаков, директор по инвестициям УК «Открытие»

Первые владельцы новых MacBook Pro рассказали, что «чёлка» иногда закрывает часть меню в приложениях Статьи редакции

В документации Apple описаны методы, с помощью которых разработчики могут управлять поведением интерфейса в таких случаях.

Релиз Checkaso 2.5 на Product Hunt. Новые инструменты и дизайн

Друзья, всем привет! Сегодня у нас релиз на Product Hunt. Будем рады вашей активности: поддержке и обратной связи. Важная и приятная новость: в честь обновления дарим -30% на любую подписку.

Linkedin запустил маркетплейс для поиска и заказа услуг фрилансеров — за время тестов он собрал 2 млн пользователей Статьи редакции

Сервис предназначен для работодателей, а сами кандидаты не смогут искать работу.

Почему приглашая опытного разработчика вы должны себя вести не как покупатель, а как продавец?
Цифровой госпиталь и медицина на 360°: как мы обновили сайт частной клиники №1 в России

Иногда больницы у русского человека вызывают недоумение и страх: процедурный кабинет, где пахнет лекарствами и не только, представили? Но зачастую это наши страхи из детства и юношества суровых 90-х, потому что сейчас всё иначе.

Сайт для АО «Европейский Медицинский Центр» (ЕМС)
«Делимобиль» выпускает в город заведомо неисправные автомобили

Всем привет! Это снова главный хейтер Делимобиля всея VC.
Не так давно я публиковал пост с обзором сервиса Делимобиль в Ростове-на-Дону, где описывал состояние автомобилей, зоны завершения, тарифы и всё прочее. Вот он:

Цифровой акселератор СИБУРа: feedback от участников

СИБУР, крупнейшая в России интегрированная нефтехимическая компания, и GenerationS, платформа по развитию корпоративных инноваций, подвели итоги первого цифрового акселератора.

Чем занимается BIM-менеджер и как им стать?

По мнению Ксении, BIM-менеджера в IBS, BIM - это будущее проектирования и строительства. Мы узнали у Ксении, в чём суть технологии, какую пользу она приносит, как выглядят будни BIM-специалиста и где лучше учиться этой профессии.

null