Продолжение истории уже в подписке на Кинопоиске
Продолжение истории уже в подписке на Кинопоиске
Условия подписки: clck.ru/rfS2r
16+
Далее автопродление — 299 ₽/мес. Предложение до 31.07.2022 г. Подробнее: clck.ru/rfS2r
Сервисы
SberDevices

Пиджак Бреда Питта и диадема королевы. Рассказываем о Layer, платформе для покупок из фильмов

Прямо во время просмотра фильма вы можете выбрать пиджак или джинсы, как у главного героя, узнать подробнее о месте проведения съемки и купить туда билет. Как это работает, рассказывает Екатерина Пинчук, директор по продукту платформы Layer, разработанной в SberDevices.

Екатерина Пинчук
Знает всё о футболках поло и шлемах штурмовика

Купи «из телевизора»

Возможно, у вас возникли ассоциации со знаменитыми «магазинами на диване», где милая девушка рассказывает про товары из телевизора. Но наш продукт не об этом, он не предлагает абстрактные товары. Layer — это платформа распознавания объектов в видео и на фото, которая считывает не только лица актеров, но и одежду героев, а затем показывает распознанные объекты и привязанные товары партнёров, узнает места проведения съемок и предлагает купить туда билеты. Например, нейросеть поймёт, что на экране Замок Святого Ангела из «Римских каникул» и предложит купить билеты на самолёт прямо до города, в котором вы можете увидеть достопримечательность.

Paramount Pictures (с), 1953, кадр из фильма "Римские каникулы".

Как это работает — я рассказываю на видео ниже.

Например, вам понравилось платье главной героини. Нажмите на паузу — и вы увидите похожие товары от онлайн-магазинов вроде Lamoda или Ozon: система распознавания от Layer найдёт всё самое подходящее. Ваш сын — фанат вселенной Marvel? Вы можете заказать для него мерч с любимыми героями прямо из фильма.

После того, как вы поставили просмотр фильма на паузу, отсканируйте QR-код товара, который предложил Layer. Оплатить покупку можно сразу либо оставить это на потом и спокойно вернуться к просмотру фильма, не опасаясь, что товар исчезнет.

Показать, например, одежду любимого актера, то есть товар, который зрителю самостоятельно найти непросто, – это и есть упрощение пользовательского пути. Его обеспечивает сложная технология.

Paramount Pictures(с), 2008. Кадр из фильма "Загадочная история Бенджамина Баттона".

Мгновенное распознавание

В основе платформы Layer — ML-движок. В онлайн-кинотеатре Okko на устройствах Sber платформа анализирует каждый кадр из фильма и моментально связывает распознанное изображение с товарами от партнёра. Для пользователя это происходит незаметно, хотя “под капотом” работает многоэтапная и сложная система. В зависимости от ситуации может задействоваться несколько нейросетей и различных вычислительных модулей. Ведь перед тем, как что-то сравнивать и связывать, это что-то в кадре нужно найти и локализовать, затем, возможно, повернуть или выравнять, а после – ещё и отслеживать в следующих сценах. Для последнего и главного этапа, т.е. поиска похожих товаров, мы применяем достаточно сложный подход – метрическое обучение. В нём модель учится “описывать” объект таким образом, чтобы потом его схожесть с товаром можно было оценить численно.

Наши алгоритмы работают быстро и достаточно корректно, но в случае с некоторыми топовыми фильмами мы используем дополнительную модерацию – для подстраховки перепроверяем автоматический результат. Мы дорожим нашими пользователями и хотим предлагать им рубашки с правильным воротом, а платья – в горошек размером точно как у главной героини. Технологии Layer открывают интересные возможности для бизнеса: к нам может прийти любая компания и попросить упомянуть, что в кадре находится товар, похожий на их продукт (либо это он и есть).

Количество фильмов, в которых работает Layer, постоянно растёт: мы добавляем по 300 фильмов и 2–3 сериала в неделю.

Одно из наших умных устройств — ТВ-медиацентр SberBox Top. С его помощью легко запускать фильмы и сериалы тем способом, который удобнее в данный момент – используя пульт или голосовое управление. В приставке спрятано множество функций, в том числе и Layer.

Почему категория «Товары к фильму» особенная и что мы туда добавляем

Категория «Товары к фильмам» — отдельное направление. Это товары, которые так или иначе связаны с фильмом. Мы даём возможность зрителю купить их. Это может быть фигурка человека-паука или диадема как у королевы.

Company Pictures (с), 2013, из сериала "Белая королева".

С этой категорией мы работали отдельно, и сегодня она актуальна для 29 000 фильмов. Каждую неделю этот показатель увеличивается на 500–1000 названий. Зрители любят покупать что-то связанное с интересным им кино, мы это видим.

Поначалу мы настроили алгоритм так, что он подтягивал в раздел «Товары к фильму» около 100-150 позиций из каталогов партнёров. Мы поняли, что это слишком много, — никто не будет просматривать такое количество товаров на экране телевизора. Поэтому мы сократили количество позиций до 40-50 и стараемся показывать самое подходящее, то, что, по нашему мнению, зрителям захочется купить в момент просмотра фильма.

Товары к кинолентам подтягиваются в основном к приключенческим и фантастическим картинам: вселенной Marvel, лентам Disney и другим. А ещё мы добавляем мерч к старым культовым фильмам, даже если смотрят их не так часто, как новинки.

Оказывается, есть фильмы, в которых пользователи специально переходят к отдельным эпизодам, чтобы поставить их на паузу. Один из примеров — сцена из «Звёздных войн», в которой штурмовик ударяется головой о поднимающуюся дверь.

Lucasfilm Ltd. LLC/Walt Disney Studios (с), 1977, "Звёздные войны". 

К таким популярным стоп-кадрам мы тоже привязываем товары. В случае со «Звёздными воинами», конечно, не обошлось без шлема штурмовика.

Если товар у партнёра заканчивался, зритель его уже не видел в кадре.

При добавлении товаров к фильмам важно угадать настроение пользователя. Например, перед Новым годом мы добавили к тематическим картинам ёлочные игрушки, и они пользовались спросом — во время просмотра таких фильмов хочется создать дома праздничное настроение и уют. Кстати, пользователи интересовались новогодними товарами даже в марте 2021 года — через три месяца после праздника.

С какими сложностями столкнулась наша команда и как мы их решили

Иногда при распознавании нейросеть встречается со специфическими случаями, когда идентифицировать актёра или одежду достаточно сложно. Даже человеку не всегда удается определить, кто находится в кадре, если на актёра почти не падает свет, он не в фокусе или в сцене есть спецэффекты. Но мы научили ML-движок не путать близнецов, узнавать актёров в темноте и даже в гриме. Теперь в «Джокере» сетка в любой точке фильма распознаёт Хоакина Феникса, в гриме и без.

Warner Bros.(с), 2019, кадр из фильма "Джокер".

А как мы намучились с футболками поло! Система их видела, но в качестве связанных товаров предлагала пользователю обычные футболки – без воротника. Нам приходилось тратить много времени на модерацию, чтобы оставить в выдаче именно футболки поло.

Благодаря постоянной работе над точностью распознавания за полгода мы сократили время модерации таких кейсов в пять раз. К концу 2022 года мы планируем полностью отказаться от дополнительной ручной проверки.

MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".
Два результата распознавания футболок поло нейросетью. Мы научили ее не путать поло с обычными футболками. MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".

Схожая проблема была с закатанными рукавами классических рубашек. Нейросеть видела только длину рукава и предлагала пользователю рубашку с коротким. Такой вариант для нас был неприемлем. Мы оптимизировали работу сети, чтобы она показывала и рубашки с длинным рукавом. Также система поначалу не могла «узнать» худи, если актёры стояли лицом к камере и капюшона не было видно. Но мы научились справляться и с такими ситуациями.

MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".
Нейросеть научилась распознавать в кадре рубашки с длинным рукавом, даже если они закатаны. MF Yapim (с), 2020, кадр из сериала "Постучись в мою дверь".

Что мы собираемся делать с Layer дальше

Зрители активно используют Layer уже сейчас: платформа работает в 96% фильмов, которые они смотрят на наших устройствах. Но мы понимаем, что это не предел. Поскольку ML-движок способен распознавать объекты в реальном времени, мы готовимся добавить возможность распознавания ТВ-контента. Пользователи смогут узнать, кто играет в любимом сериале, и купить одежду прямо во время просмотра ТВ.

Сейчас можно сказать, что многие покупки на Layer — спонтанные: зрители часто хотят получить товар «прямо сейчас», без чёткого плана. Например, последние две недели наши зрители активно интересуются пиджаками. При этом мы понимаем, что у людей должна быть возможность отложить покупку, обдумать свой выбор и, возможно, дополнить корзину. В скором времени мы добавим раздел с избранными товарами, в который можно будет «сложить» интересующие вещи, а потом — купить их.

В ближайшем будущем мы планируем добавить возможность оплаты товаров прямо в Layer — пользователю не нужно будет брать в руки телефон и заходить на сайт партнёра. Мы полагаем, это увеличит конверсию для партнёров: сейчас некоторые клиенты могут отказываться от покупок после перехода по QR-коду, поскольку на сайте партнёра придётся вспоминать пароль от аккаунта или регистрироваться.

Онбординг зрителей пока тоже в планах: мы будем рассказывать пользователям о возможностях платформы в разделе Видео на устройствах Sber, а также показывать перед началом просмотра известные сцены из фильмов и товары к ним. При этом мы не хотим отпугнуть зрителей навязчивой рекламой.

К распознаванию лиц, вещей и мест мы собираемся добавлять новые категории. К концу года мы стремимся начать распознавать вообще все объекты — как в фильмах, так и в прямом эфире. Кстати, с технологией Layer мы уже вышли на b2b-рынок и начали сотрудничество с некоторыми компаниями. Если вы хотели бы сотрудничать с нами или стать частью нашей команды, пишите нам по адресу: [email protected].

0
10 комментариев
Написать комментарий...
Артём Грязин

Жена сказала, перед выходом нового сезона секса в большом городе ей необходима такая  платформа… Вы меня разорите))) А вообще очень крутая идея!)

Ответить
Развернуть ветку
SberDevices
Автор

Артём, желаем вашей жене приятного просмотра и удачного шопинга! ;)

Ответить
Развернуть ветку
Andrey Kim

Диадема-то ваще не та, что в фильме.

Ответить
Развернуть ветку
SberDevices
Автор

Андрей, нейросеть подбирает максимально похожие товары в каталоге партнёров. Если наш партнёр-магазин будет продавать именно такую диадему, мы распознаем и покажем зрителю её в первую очередь.

Ответить
Развернуть ветку
Igor Karklin

Когда Layer станет плагином для браузера?

Ответить
Развернуть ветку
Full Name

а зачем смотреть кино в браузере?

Ответить
Развернуть ветку
SberDevices
Автор

Игорь, здравствуйте! Распознавание контента “на лету” – довольно затратная задача в плане необходимых мощностей. Мы можем встроить нашу функциональность в сайты компаний-партнёров. А пользователям в данный момент готовы предложить распознавание кадров в фильмах, а в скором времени и в ТВ-контенте.

Извините за нескорый ответ =) 

Ответить
Развернуть ветку
SberDevices
Автор

Если вы хотите знать больше о том, как умные устройства меняют пространство, в котором мы живём, а вместе с ним — нашу жизнь, слушайте наш подкаст «Я сегодня из дома»: https://shor.by/smarthome. Наш недавний выпуск гарантирует вам здоровый сон!

Ответить
Развернуть ветку
Димитриан Иваненко

Ну вот стремно то, что ИИ будет подбирать пластиковые диадемы из доступных или отдаленно похожее нечто.

Ответить
Развернуть ветку
DN1

А на каких платформах можно протестировать технологию? в Окко на смарт ТВ не работает

Ответить
Развернуть ветку
Читать все 10 комментариев
null