Опередили Facebook и «ВКонтакте»: как мы запустили поиск товаров по видео

История о том, как мы обучили искусственный интеллект распознавать товары в видео. Первыми в России.

Наша компания называется Sarafan Technology. Ранее мы уже рассказывали о себе здесь. В 2016 году мы разработали ИИ для распознавания товаров в фотографиях. Год назад начали обучать технологию работать и с видео. В мае официально запустили уже готовый продукт — shop-now-функциональность для видео. Посмотреть, как он работает, уже можно на сайте нашего партнёра — Glamour TV, ниже — скриншот-гифка с места событий.

Весь процесс проходит в три этапа.

Первым делом система классифицирует объекты, которые появились в видео. Без разницы, какого размера объект и на сколько миллисекунд он появился в кадре — ИИ считывает людей и бокалы с вином, крыши домов и горшок с кактусом.

Для каждого объекта система определяет процент точности классификации, то есть насколько она уверена в своём выборе. Кадры с высокой точностью отправляются на второй этап анализа.

Небольшое отступление: в прошлый раз были предположения, что за пультом управления у нас сидит не ИИ, а тётя Мотя. Понимаем, что поверить в то, что остаётся за кадром, сложно, и прилагаем скриншот с распознаванием стрима новостного канала, где ИИ классифицирует объекты в режиме реального времени.

Все отобранные кадры система фильтрует — размытые картинки или дубли (это те кадры, в которых практически ничего не меняется) удаляются из выборки. В ключевых кадрах ИИ уже более детально работает с каждым объектом. Например, у людей определяет пол, возраст, цвет волос и кожи, у платья — цвет, длину, фасон, длину рукавов, принт.

В каталогах онлайн-магазинов система находит все хотя бы отдалённо похожие товары, а потом фильтрует их по признаку подобия. Наиболее похожие товары подтягиваются в виртуальную витрину вместе со ссылкой-переходом в магазин.

Мы разработали четыре разных формата для всех площадок, которые работают с видео.

В плеер площадки встраивается сайдбар — виртуальная витрина и кнопка «Смотреть товары». Смотрим видео, если что-то понравилось, нажимаем на кнопку, всплывает сайдбар с товарами. Видео автоматически переходит в режим «Паузы».

Все товары демонстрируются с фото и краткой информацией. По договорённости с площадкой мы можем отображать цену и скидки (если они есть). Протестировать функциональность уже можно на Glamour TV, ссылку добавляю в комментариях. Будем благодарны за обратную связь!

На стриминговых платформах принцип работы схожий — ИИ анализирует видео со стримером и подтягивает распознанные в кадре товары — наушники, компьютерную мышь, футболку, кружку.

Стример также может добавить баннер своего рекламодателя. Никакой премодерации и предраспознавания нет. Поиск в кадре происходит за 0,1 секунды. Благодаря такой скорости мы можем распознавать любой эфирный стрим.

Со смарт-ТВ пришлось немного поломать голову. Очень хотелось свести процесс к минимуму шагов. К чему мы в итоге пришли: чтобы увидеть товары, нажимаем на кнопку «Info» на пульте. Затем при помощи стрелочек просматриваем ленту с товарами. Выбираем нужный кнопкой «Оk». Всплывает форма с полем для ввода номера телефона. Вбиваем номер и получаем бесплатное SMS-сообщение со ссылкой на товар.

Во всех форматах пользователю не нужно ничего скачивать. Всё настраивается на стороне площадки с видео.

Sarafan.AI делает таргетинг по содержимому видео: система анализирует контент, считывает доминирующие объекты и подбирает к ним релевантную рекламу. Например, к видео, где в 60% кадров появляется собака, подтягивается баннер или видеореклама корма для собак. Этот формат разработан для программатик-рекламы.

Тегинг можно настроить и для конкретных рекламных кампаний: в этом случае рекламодатель обозначает теги — определённые объекты или ситуации для размещения своей рекламы. Система находит эти объекты в видео и встраивает в них рекламу. Как пример, в видео, где человек готовит, ИИ добавляет рекламу продуктов или кухонной техники.

Не рекламой единой: для точек продаж мы предлагаем видеоаналитику. Система автоматически обрабатывает видео с камер и считывает вкусовые предпочтения посетителей.

Все форматы монетизируются за счёт рекламы — площадка самостоятельно выбирает подходящую для себя модель — CPC (оплата за клики), CPA (оплата за действие), CPM (оплата за 1000 показов), CPL (оплата за лид). На Glamour TV, например, функциональность монетизируется по модели CPM — рекламодатель оплачивает 1000 показов своего товара в виджете.

Видеоаналитика монетизируется по подписной модели. Оплачивается месяц обслуживания камер и отчет.

Подобная функциональность уже есть в Facebook и Instagram: на товарах в загруженных видео можно поставить метки с краткой информацией и переходом к покупке. Но ИИ для этой работы не привлекается, теги вручную ставят владельцы видео.

В России о планах создать технологию для распознавания товаров в видео для социальной сети «ВКонтакте» заявлял холдинг Mail.ru Group. На сегодня инструмент на площадке ещё не представлен.