Пиджак Бреда Питта и диадема королевы. Рассказываем о Layer, платформе для покупок из фильмов

Прямо во время просмотра фильма вы можете выбрать пиджак или джинсы, как у главного героя, узнать подробнее о месте проведения съемки и купить туда билет. Как это работает, рассказывает Екатерина Пинчук, директор по продукту платформы Layer, разработанной в SberDevices.

Возможно, у вас возникли ассоциации со знаменитыми «магазинами на диване», где милая девушка рассказывает про товары из телевизора. Но наш продукт не об этом, он не предлагает абстрактные товары. Layer — это платформа распознавания объектов в видео и на фото, которая считывает не только лица актеров, но и одежду героев, а затем показывает распознанные объекты и привязанные товары партнёров, узнает места проведения съемок и предлагает купить туда билеты. Например, нейросеть поймёт, что на экране Замок Святого Ангела из «Римских каникул» и предложит купить билеты на самолёт прямо до города, в котором вы можете увидеть достопримечательность.

Как это работает — я рассказываю на видео ниже.

Например, вам понравилось платье главной героини. Нажмите на паузу — и вы увидите похожие товары от онлайн-магазинов вроде Lamoda или Ozon: система распознавания от Layer найдёт всё самое подходящее. Ваш сын — фанат вселенной Marvel? Вы можете заказать для него мерч с любимыми героями прямо из фильма.

После того, как вы поставили просмотр фильма на паузу, отсканируйте QR-код товара, который предложил Layer. Оплатить покупку можно сразу либо оставить это на потом и спокойно вернуться к просмотру фильма, не опасаясь, что товар исчезнет.

Показать, например, одежду любимого актера, то есть товар, который зрителю самостоятельно найти непросто, – это и есть упрощение пользовательского пути. Его обеспечивает сложная технология.

В основе платформы Layer — ML-движок. В онлайн-кинотеатре Okko на устройствах Sber платформа анализирует каждый кадр из фильма и моментально связывает распознанное изображение с товарами от партнёра. Для пользователя это происходит незаметно, хотя “под капотом” работает многоэтапная и сложная система. В зависимости от ситуации может задействоваться несколько нейросетей и различных вычислительных модулей. Ведь перед тем, как что-то сравнивать и связывать, это что-то в кадре нужно найти и локализовать, затем, возможно, повернуть или выравнять, а после – ещё и отслеживать в следующих сценах. Для последнего и главного этапа, т.е. поиска похожих товаров, мы применяем достаточно сложный подход – метрическое обучение. В нём модель учится “описывать” объект таким образом, чтобы потом его схожесть с товаром можно было оценить численно.

Наши алгоритмы работают быстро и достаточно корректно, но в случае с некоторыми топовыми фильмами мы используем дополнительную модерацию – для подстраховки перепроверяем автоматический результат. Мы дорожим нашими пользователями и хотим предлагать им рубашки с правильным воротом, а платья – в горошек размером точно как у главной героини. Технологии Layer открывают интересные возможности для бизнеса: к нам может прийти любая компания и попросить упомянуть, что в кадре находится товар, похожий на их продукт (либо это он и есть).

Количество фильмов, в которых работает Layer, постоянно растёт: мы добавляем по 300 фильмов и 2–3 сериала в неделю.

Категория «Товары к фильмам» — отдельное направление. Это товары, которые так или иначе связаны с фильмом. Мы даём возможность зрителю купить их. Это может быть фигурка человека-паука или диадема как у королевы.

С этой категорией мы работали отдельно, и сегодня она актуальна для 29 000 фильмов. Каждую неделю этот показатель увеличивается на 500–1000 названий. Зрители любят покупать что-то связанное с интересным им кино, мы это видим.

Поначалу мы настроили алгоритм так, что он подтягивал в раздел «Товары к фильму» около 100-150 позиций из каталогов партнёров. Мы поняли, что это слишком много, — никто не будет просматривать такое количество товаров на экране телевизора. Поэтому мы сократили количество позиций до 40-50 и стараемся показывать самое подходящее, то, что, по нашему мнению, зрителям захочется купить в момент просмотра фильма.

Товары к кинолентам подтягиваются в основном к приключенческим и фантастическим картинам: вселенной Marvel, лентам Disney и другим. А ещё мы добавляем мерч к старым культовым фильмам, даже если смотрят их не так часто, как новинки.

Оказывается, есть фильмы, в которых пользователи специально переходят к отдельным эпизодам, чтобы поставить их на паузу. Один из примеров — сцена из «Звёздных войн», в которой штурмовик ударяется головой о поднимающуюся дверь.

К таким популярным стоп-кадрам мы тоже привязываем товары. В случае со «Звёздными воинами», конечно, не обошлось без шлема штурмовика.

При добавлении товаров к фильмам важно угадать настроение пользователя. Например, перед Новым годом мы добавили к тематическим картинам ёлочные игрушки, и они пользовались спросом — во время просмотра таких фильмов хочется создать дома праздничное настроение и уют. Кстати, пользователи интересовались новогодними товарами даже в марте 2021 года — через три месяца после праздника.

Иногда при распознавании нейросеть встречается со специфическими случаями, когда идентифицировать актёра или одежду достаточно сложно. Даже человеку не всегда удается определить, кто находится в кадре, если на актёра почти не падает свет, он не в фокусе или в сцене есть спецэффекты. Но мы научили ML-движок не путать близнецов, узнавать актёров в темноте и даже в гриме. Теперь в «Джокере» сетка в любой точке фильма распознаёт Хоакина Феникса, в гриме и без.

А как мы намучились с футболками поло! Система их видела, но в качестве связанных товаров предлагала пользователю обычные футболки – без воротника. Нам приходилось тратить много времени на модерацию, чтобы оставить в выдаче именно футболки поло.

Благодаря постоянной работе над точностью распознавания за полгода мы сократили время модерации таких кейсов в пять раз. К концу 2022 года мы планируем полностью отказаться от дополнительной ручной проверки.

Схожая проблема была с закатанными рукавами классических рубашек. Нейросеть видела только длину рукава и предлагала пользователю рубашку с коротким. Такой вариант для нас был неприемлем. Мы оптимизировали работу сети, чтобы она показывала и рубашки с длинным рукавом. Также система поначалу не могла «узнать» худи, если актёры стояли лицом к камере и капюшона не было видно. Но мы научились справляться и с такими ситуациями.

Зрители активно используют Layer уже сейчас: платформа работает в 96% фильмов, которые они смотрят на наших устройствах. Но мы понимаем, что это не предел. Поскольку ML-движок способен распознавать объекты в реальном времени, мы готовимся добавить возможность распознавания ТВ-контента. Пользователи смогут узнать, кто играет в любимом сериале, и купить одежду прямо во время просмотра ТВ.

Сейчас можно сказать, что многие покупки на Layer — спонтанные: зрители часто хотят получить товар «прямо сейчас», без чёткого плана. Например, последние две недели наши зрители активно интересуются пиджаками. При этом мы понимаем, что у людей должна быть возможность отложить покупку, обдумать свой выбор и, возможно, дополнить корзину. В скором времени мы добавим раздел с избранными товарами, в который можно будет «сложить» интересующие вещи, а потом — купить их.

В ближайшем будущем мы планируем добавить возможность оплаты товаров прямо в Layer — пользователю не нужно будет брать в руки телефон и заходить на сайт партнёра. Мы полагаем, это увеличит конверсию для партнёров: сейчас некоторые клиенты могут отказываться от покупок после перехода по QR-коду, поскольку на сайте партнёра придётся вспоминать пароль от аккаунта или регистрироваться.

Онбординг зрителей пока тоже в планах: мы будем рассказывать пользователям о возможностях платформы в разделе Видео на устройствах Sber, а также показывать перед началом просмотра известные сцены из фильмов и товары к ним. При этом мы не хотим отпугнуть зрителей навязчивой рекламой.

К распознаванию лиц, вещей и мест мы собираемся добавлять новые категории. К концу года мы стремимся начать распознавать вообще все объекты — как в фильмах, так и в прямом эфире. Кстати, с технологией Layer мы уже вышли на b2b-рынок и начали сотрудничество с некоторыми компаниями. Если вы хотели бы сотрудничать с нами или стать частью нашей команды, пишите нам по адресу: layer@sberbank.ru.