Трибуна Nadezhda Kos
3 290

Опередили Facebook и «ВКонтакте»: как мы запустили поиск товаров по видео

История о том, как мы обучили искусственный интеллект распознавать товары в видео. Первыми в России.

В закладки
Аудио

Кто мы

Наша компания называется Sarafan Technology. Ранее мы уже рассказывали о себе здесь. В 2016 году мы разработали ИИ для распознавания товаров в фотографиях. Год назад начали обучать технологию работать и с видео. В мае официально запустили уже готовый продукт — shop-now-функциональность для видео. Посмотреть, как он работает, уже можно на сайте нашего партнёра — Glamour TV, ниже — скриншот-гифка с места событий.

Как это работает

Весь процесс проходит в три этапа.

Первый этап

Первым делом система классифицирует объекты, которые появились в видео. Без разницы, какого размера объект и на сколько миллисекунд он появился в кадре — ИИ считывает людей и бокалы с вином, крыши домов и горшок с кактусом.

Для каждого объекта система определяет процент точности классификации, то есть насколько она уверена в своём выборе. Кадры с высокой точностью отправляются на второй этап анализа.

Небольшое отступление: в прошлый раз были предположения, что за пультом управления у нас сидит не ИИ, а тётя Мотя. Понимаем, что поверить в то, что остаётся за кадром, сложно, и прилагаем скриншот с распознаванием стрима новостного канала, где ИИ классифицирует объекты в режиме реального времени.

Классификация объектов в стриме

Второй этап

Все отобранные кадры система фильтрует — размытые картинки или дубли (это те кадры, в которых практически ничего не меняется) удаляются из выборки. В ключевых кадрах ИИ уже более детально работает с каждым объектом. Например, у людей определяет пол, возраст, цвет волос и кожи, у платья — цвет, длину, фасон, длину рукавов, принт.

Третий этап

В каталогах онлайн-магазинов система находит все хотя бы отдалённо похожие товары, а потом фильтрует их по признаку подобия. Наиболее похожие товары подтягиваются в виртуальную витрину вместе со ссылкой-переходом в магазин.

Поиск похожих товаров  

Для чего применяем

Мы разработали четыре разных формата для всех площадок, которые работают с видео.

1. Виртуальная витрина для медиа и блогов

В плеер площадки встраивается сайдбар — виртуальная витрина и кнопка «Смотреть товары». Смотрим видео, если что-то понравилось, нажимаем на кнопку, всплывает сайдбар с товарами. Видео автоматически переходит в режим «Паузы».

Все товары демонстрируются с фото и краткой информацией. По договорённости с площадкой мы можем отображать цену и скидки (если они есть). Протестировать функциональность уже можно на Glamour TV, ссылку добавляю в комментариях. Будем благодарны за обратную связь!

2. Shop-now-функциональность для стриминговых платформ

На стриминговых платформах принцип работы схожий — ИИ анализирует видео со стримером и подтягивает распознанные в кадре товары — наушники, компьютерную мышь, футболку, кружку.

Стример также может добавить баннер своего рекламодателя. Никакой премодерации и предраспознавания нет. Поиск в кадре происходит за 0,1 секунды. Благодаря такой скорости мы можем распознавать любой эфирный стрим.

Пример работы на стриминговой платформе

3. Смарт-ТВ

Со смарт-ТВ пришлось немного поломать голову. Очень хотелось свести процесс к минимуму шагов. К чему мы в итоге пришли: чтобы увидеть товары, нажимаем на кнопку «Info» на пульте. Затем при помощи стрелочек просматриваем ленту с товарами. Выбираем нужный кнопкой «Оk». Всплывает форма с полем для ввода номера телефона. Вбиваем номер и получаем бесплатное SMS-сообщение со ссылкой на товар.

Пример работы в смарт-ТВ

Во всех форматах пользователю не нужно ничего скачивать. Всё настраивается на стороне площадки с видео.

4. Тегирование по контенту

Sarafan.AI делает таргетинг по содержимому видео: система анализирует контент, считывает доминирующие объекты и подбирает к ним релевантную рекламу. Например, к видео, где в 60% кадров появляется собака, подтягивается баннер или видеореклама корма для собак. Этот формат разработан для программатик-рекламы.

Тегинг можно настроить и для конкретных рекламных кампаний: в этом случае рекламодатель обозначает теги — определённые объекты или ситуации для размещения своей рекламы. Система находит эти объекты в видео и встраивает в них рекламу. Как пример, в видео, где человек готовит, ИИ добавляет рекламу продуктов или кухонной техники.

Пример всплывающей рекламы 

5. Видеоаналитика для офлайна

Не рекламой единой: для точек продаж мы предлагаем видеоаналитику. Система автоматически обрабатывает видео с камер и считывает вкусовые предпочтения посетителей.

Как монетизируем

Все форматы монетизируются за счёт рекламы — площадка самостоятельно выбирает подходящую для себя модель — CPC (оплата за клики), CPA (оплата за действие), CPM (оплата за 1000 показов), CPL (оплата за лид). На Glamour TV, например, функциональность монетизируется по модели CPM — рекламодатель оплачивает 1000 показов своего товара в виджете.

Видеоаналитика монетизируется по подписной модели. Оплачивается месяц обслуживания камер и отчет.

И напоследок немного о конкурентах

Подобная функциональность уже есть в Facebook и Instagram: на товарах в загруженных видео можно поставить метки с краткой информацией и переходом к покупке. Но ИИ для этой работы не привлекается, теги вручную ставят владельцы видео.

В России о планах создать технологию для распознавания товаров в видео для социальной сети «ВКонтакте» заявлял холдинг Mail.ru Group. На сегодня инструмент на площадке ещё не представлен.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Nadezhda Kos", "author_type": "self", "tags": [], "comments": 47, "likes": 22, "favorites": 38, "is_advertisement": false, "subsite_label": "tribuna", "id": 71396, "is_wide": false, "is_ugc": true, "date": "Thu, 13 Jun 2019 16:22:05 +0300" }
{ "id": 71396, "author_id": 160949, "diff_limit": 1000, "urls": {"diff":"\/comments\/71396\/get","add":"\/comments\/71396\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/71396"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199116, "last_count_and_date": null }

47 комментариев 47 комм.

Популярные

По порядку

Написать комментарий...
4

Ваших рук дело? :)

Ответить
3

Владимир, нет :) Для нас очень важен вопрос brand safety, мы же с рекламой по сути работаем - система обязательно считывает общий контекст. В статьях, например, проверяет текст, если есть слова с негативным контекстом - "авария", "смерть", "больница", виджет туда не встраивается

Ответить
4

Прикольная штука. Фото и видео есть, дальше видимо AR/VR распознавание?)

Ответить
2

Спасибо ! Да, все верно, и AR / VR охватим

Ответить
4

Неплохо. Как раз ищем решение для интеграции в свой продукт.

По сравнению с белорусами (oyper.com, banuba.com) чем ваше лучше/хуже?

C «Алисой» сравнивали?

Ответить
1

Денис, кого Вы ищете, если у вас на сайте вот это?)

Ответить
0

Одно решение нашли, но нам мало...

Ответить
0

Денис, спасибо ! Алиса - большая молодец, но пока товары из видео не ищет. Как мы понимаем, Яндекс для этой цели разрабатывает приложение sloy. Banuba и Oyper - очень сильные проекты, но из другой сферы, мы совсем не конкуренты друг другу

Ответить
2

Опередили Фейсбук и Гугл, но не опередили Oyper :) - мы об этой возможности для видео провайдеров рассказали в еще мае на vc.ru(https://vc.ru/tribuna/67658-oyper-personalnyy-ii-stilist) - только, к сожалению, не заготовили красивых картинок так много. Очень интересный материал, прочла с удовольствием.
Чтобы посмотреть , как работает наш AI для видеострима, можно перейти по ссылке - https://www.youtube.com/watch?v=GO18W-QCkds

Ответить
0

Спасибо, Анастасия! Вы большие молодцы! Подскажите, пожалуйста, а есть ли у вас уже интеграции с кем-нибудь? Где можно увидеть функционал в действии?

Ответить
0

готовим - с удовольствием вам покажем первым. Небольшой вопрос - как приобрести вот это платье из видео? https://gyazo.com/f52f5b2b8996e9aa2664c9e98a249fb1

Обработали нашей нейронкой и получили немного другие результаты - https://gyazo.com/5d5ab47a8607c5ad4c34a4b6fb8fcc05

Ответить
2

Анастасия, нам уже сейчас интересно функционал посмотреть :) Если он есть, если он работает, его и без интеграций можно показать. Наш пример со стримом из новостного канала сделан без интеграции, например.
Поясняю также, почему у вас результаты другие - наша система ищет варианты только в продуктовых фидах партнеров. Где ведется поиск у вас, к сожалению, не знаю. И почему-то у меня не получается зайти в раздел Find similar на вашем сайте. Как я понимаю, вы именно там и искали платья по скрину(картинке) из видео.

Ответить
1

Чтобы получить доступ к демо, заполните, пожалуйста, зайвку на сайте, мы рассмотрим и дадим ответ.

Ответить
3

Здравствуйте, а на сколько было затратно по бюджету разработать подобную систему и сколько времени ушло для получения такого крутого результата ?

Ответить
1

Malik, спасибо! Саму технологию обучаем с 2016, отдельно работать с видео начали год назад, порядка 10 месяцев понадобилось. По бюджету сказать сложно, так как параллельно работаем и над другими продуктами на базе Sarafan.AI

Ответить
1

Вы в тренде и молодцы однозначно. НО..
В самом начале видео появляется тушь, а на на 1:20 появляется парфюмерная вода...
Ну с тушью, наверно, ИИ может справиться.
Но как он распознал парфюмерную воду? нигде на видео нет ничего похожего.
Складывается ощущение, что этот список сформирован менеджером. Отображение его поверх видео - дело техники.

Можно как -то на стриме посмотреть демо?

Ответить
0

Александр, спасибо! Поясняю по вопросам: 1) в самой статье приложила две гифки с видео процесса. Все это был стрим. К сожалению, дать ссылку на демо не могу - это все внутренние инструменты. Но я могу вам наснимать видео с экрана, только надо будет как-нибудь наладить более оперативное общение, чтобы вы могли параллельно стрим смотреть на своем экране. 2) а теперь перейдем к парфюмерной воде и туши - косметика в данном видео - это рекомендации к образу. Система считала, что есть платье, например, и добавила к нему парфюмерную воду.

Ответить
3

Это прям мощно.

Ответить
3

Крутая технология!

Ответить
2

Я бы не сказал что первые в России. Вот разработка одного Дагестанца. В 2017 году передставлял на конкурсе.
https://yandex.ru/video/touch/search?filmId=785297405729333528&text=clevapi&ts=1560448101739&source=share

Ответить
1

Насрула, спасибо за информацию. Внимательно изучила сайт - ребята из Clevapi для видео пока делают только тегинг

Ответить
2

Технология похожа на ту что была вшита в терминатора во второй части :)
Вопрос: каталог интернет-магазинов с которым сверяется ИИ при определении объектов в видео и фото, он скачивается вами и находится в неком локальном архиве или ИИ сам обращается к чему-то на подобии поиска по фото в гугл и ищет инфо в сети?

Ответить
1

Спасибо, Терминатор крут! :) Система ищет товары по базе каталогов (продуктовых фидов) магазинов партнеров, не по всей сети

Ответить
2

клааас
наконец то

Ответить
1

Вы спасете ТВ. Давно ждут подобные решения. Это очень круто и изменит Мир! Где за вами следить?

Ответить
1

Какие библиотеки использовали для распознавания? Есть где почитать про техническую сторону?

Ответить
2

Про техническую часть материал готовим, скорее всего, разместим на Хабре. Там же и про библиотеки расскажем. Обязательно продублирую здесь в комментариях.

Ответить
1

Идеально было для обычных пользователей иметь такую функцию.
Закидываешь ссылку на фильм или просто вписываешь сам фильм, временной кадр и система распознает что одето на персонаже, идем по ссылке в магаз и покупаем.

Ответить
1

Мы начинали с приложения, в него можно было бы загрузить фотографию, в итоге отказались от этого формата - очень долгая цепочка действий с ним получается. Мы планируем охватить всееее площадки с видео, чтобы вам ничего не нужно было скачивать - нажимаете кнопку и сразу получаете результат

Ответить
1

Что по деньгам получилось или пока не удается заработать?

Ответить
1

Продукт только запустили. А так мы активно растем, выходим на новые рынки. Совсем скоро расскажем про новые интеграции уже за рубежом

Ответить
1

Нарсула, спасибо за комментарий! Как я поняла по описанию на сайте, у clevapi пока есть только тегинг, наш ии распознает и ищет товары

Ответить
0

А какая разница искать товар по видео или по фото?
Просто Google уже давно по фото товары и вещи ищет

Ответить
0

ух, вы молодец, сколько скриншотов сделали :)

Ответить
0

Добрый день, Ivano! Поиск по картинке Google создан исключительно для пользователей. Мы работаем в совсем другом поле - создаем продукт b2b2c для маркетинга, основная цель - сделать рекламу в медиа более таргетированной и нативной.

Ответить
0

нет, не такой же. Почитайте, пожалуйста, саму статью, там подробно описаны сами форматы

Ответить
0

Согласен. Главное, чтобы вы веровали

Ответить
0

Как засуетились то после анонса аналогичного серивса от Яндекса. Чем же они три года занимались?

Фаундерам Admitad нужно остановится изображать из себя инвесторов и собрать профессиональную команду из цифровых экспертов, способных не только найти "прикольный проект" но и раздуть его до единорога. Ну а сейчас чего, пожевали и выплюнули.

Ответить
0

Не знаю, к сожалению, чем занимался Яндекс три года. Но мы в любом случае анонсировали запуск нашего продукта раньше, чем Яндекс: https://incrussia.ru/news/sarafan-zapustil-poisk-tovarov-po-video/ - вот статья о запуске от 6 июня на Inc. И в отличие от Яндекса, мы уже его разработали и запустили.

Ответить
0

Да причем тут, кто раньше? Вопрос, кто займет рынок.. если он вообще есть.
То, что вы пилили три года, Яндекс сделал за месяц. В этом вся суть.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления
{ "page_type": "default" }