Опередили Facebook и «ВКонтакте»: как мы запустили поиск товаров по видео

История о том, как мы обучили искусственный интеллект распознавать товары в видео. Первыми в России.

Кто мы

Наша компания называется Sarafan Technology. Ранее мы уже рассказывали о себе здесь. В 2016 году мы разработали ИИ для распознавания товаров в фотографиях. Год назад начали обучать технологию работать и с видео. В мае официально запустили уже готовый продукт — shop-now-функциональность для видео. Посмотреть, как он работает, уже можно на сайте нашего партнёра — Glamour TV, ниже — скриншот-гифка с места событий.

Как это работает

Весь процесс проходит в три этапа.

Первый этап

Первым делом система классифицирует объекты, которые появились в видео. Без разницы, какого размера объект и на сколько миллисекунд он появился в кадре — ИИ считывает людей и бокалы с вином, крыши домов и горшок с кактусом.

Для каждого объекта система определяет процент точности классификации, то есть насколько она уверена в своём выборе. Кадры с высокой точностью отправляются на второй этап анализа.

Небольшое отступление: в прошлый раз были предположения, что за пультом управления у нас сидит не ИИ, а тётя Мотя. Понимаем, что поверить в то, что остаётся за кадром, сложно, и прилагаем скриншот с распознаванием стрима новостного канала, где ИИ классифицирует объекты в режиме реального времени.

Классификация объектов в стриме

Второй этап

Все отобранные кадры система фильтрует — размытые картинки или дубли (это те кадры, в которых практически ничего не меняется) удаляются из выборки. В ключевых кадрах ИИ уже более детально работает с каждым объектом. Например, у людей определяет пол, возраст, цвет волос и кожи, у платья — цвет, длину, фасон, длину рукавов, принт.

Третий этап

В каталогах онлайн-магазинов система находит все хотя бы отдалённо похожие товары, а потом фильтрует их по признаку подобия. Наиболее похожие товары подтягиваются в виртуальную витрину вместе со ссылкой-переходом в магазин.

Поиск похожих товаров  

Для чего применяем

Мы разработали четыре разных формата для всех площадок, которые работают с видео.

1. Виртуальная витрина для медиа и блогов

В плеер площадки встраивается сайдбар — виртуальная витрина и кнопка «Смотреть товары». Смотрим видео, если что-то понравилось, нажимаем на кнопку, всплывает сайдбар с товарами. Видео автоматически переходит в режим «Паузы».

Все товары демонстрируются с фото и краткой информацией. По договорённости с площадкой мы можем отображать цену и скидки (если они есть). Протестировать функциональность уже можно на Glamour TV, ссылку добавляю в комментариях. Будем благодарны за обратную связь!

2. Shop-now-функциональность для стриминговых платформ

На стриминговых платформах принцип работы схожий — ИИ анализирует видео со стримером и подтягивает распознанные в кадре товары — наушники, компьютерную мышь, футболку, кружку.

Стример также может добавить баннер своего рекламодателя. Никакой премодерации и предраспознавания нет. Поиск в кадре происходит за 0,1 секунды. Благодаря такой скорости мы можем распознавать любой эфирный стрим.

Пример работы на стриминговой платформе

3. Смарт-ТВ

Со смарт-ТВ пришлось немного поломать голову. Очень хотелось свести процесс к минимуму шагов. К чему мы в итоге пришли: чтобы увидеть товары, нажимаем на кнопку «Info» на пульте. Затем при помощи стрелочек просматриваем ленту с товарами. Выбираем нужный кнопкой «Оk». Всплывает форма с полем для ввода номера телефона. Вбиваем номер и получаем бесплатное SMS-сообщение со ссылкой на товар.

Пример работы в смарт-ТВ

Во всех форматах пользователю не нужно ничего скачивать. Всё настраивается на стороне площадки с видео.

4. Тегирование по контенту

Sarafan.AI делает таргетинг по содержимому видео: система анализирует контент, считывает доминирующие объекты и подбирает к ним релевантную рекламу. Например, к видео, где в 60% кадров появляется собака, подтягивается баннер или видеореклама корма для собак. Этот формат разработан для программатик-рекламы.

Тегинг можно настроить и для конкретных рекламных кампаний: в этом случае рекламодатель обозначает теги — определённые объекты или ситуации для размещения своей рекламы. Система находит эти объекты в видео и встраивает в них рекламу. Как пример, в видео, где человек готовит, ИИ добавляет рекламу продуктов или кухонной техники.

Пример всплывающей рекламы 

5. Видеоаналитика для офлайна

Не рекламой единой: для точек продаж мы предлагаем видеоаналитику. Система автоматически обрабатывает видео с камер и считывает вкусовые предпочтения посетителей.

Как монетизируем

Все форматы монетизируются за счёт рекламы — площадка самостоятельно выбирает подходящую для себя модель — CPC (оплата за клики), CPA (оплата за действие), CPM (оплата за 1000 показов), CPL (оплата за лид). На Glamour TV, например, функциональность монетизируется по модели CPM — рекламодатель оплачивает 1000 показов своего товара в виджете.

Видеоаналитика монетизируется по подписной модели. Оплачивается месяц обслуживания камер и отчет.

И напоследок немного о конкурентах

Подобная функциональность уже есть в Facebook и Instagram: на товарах в загруженных видео можно поставить метки с краткой информацией и переходом к покупке. Но ИИ для этой работы не привлекается, теги вручную ставят владельцы видео.

В России о планах создать технологию для распознавания товаров в видео для социальной сети «ВКонтакте» заявлял холдинг Mail.ru Group. На сегодня инструмент на площадке ещё не представлен.

0
46 комментариев
Написать комментарий...
Vladimir Mirolubow

Ваших рук дело? :)

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Владимир, нет :) Для нас очень важен вопрос brand safety, мы же с рекламой по сути работаем - система обязательно считывает общий контекст. В статьях, например, проверяет текст, если есть слова с негативным контекстом - "авария", "смерть", "больница", виджет туда не встраивается

Ответить
Развернуть ветку
XageRu

Прикольная штука. Фото и видео есть, дальше видимо AR/VR распознавание?)

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Спасибо ! Да, все верно, и AR / VR охватим

Ответить
Развернуть ветку
Denis Bystruev

Неплохо. Как раз ищем решение для интеграции в свой продукт.

По сравнению с белорусами (oyper.com, banuba.com) чем ваше лучше/хуже?

C «Алисой» сравнивали?

Ответить
Развернуть ветку
Vladislav Kuletskiy

Денис, кого Вы ищете, если у вас на сайте вот это?)

Ответить
Развернуть ветку
Denis Bystruev

Одно решение нашли, но нам мало...

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Денис, спасибо ! Алиса - большая молодец, но пока товары из видео не ищет. Как мы понимаем, Яндекс для этой цели разрабатывает приложение sloy. Banuba и Oyper - очень сильные проекты, но из другой сферы, мы совсем не конкуренты друг другу

Ответить
Развернуть ветку
Anastasia Zaiceva

Опередили Фейсбук и Гугл, но не опередили Oyper :) - мы об этой возможности для видео провайдеров рассказали в еще мае на vc.ru(https://vc.ru/tribuna/67658-oyper-personalnyy-ii-stilist) - только, к сожалению, не заготовили красивых картинок так много. Очень интересный материал, прочла с удовольствием.
Чтобы посмотреть , как работает наш AI для видеострима, можно перейти по ссылке - https://www.youtube.com/watch?v=GO18W-QCkds

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Спасибо, Анастасия! Вы большие молодцы! Подскажите, пожалуйста, а есть ли у вас уже интеграции с кем-нибудь? Где можно увидеть функционал в действии?

Ответить
Развернуть ветку
Anastasia Zaiceva

готовим - с удовольствием вам покажем первым. Небольшой вопрос - как приобрести вот это платье из видео? https://gyazo.com/f52f5b2b8996e9aa2664c9e98a249fb1

Обработали нашей нейронкой и получили немного другие результаты - https://gyazo.com/5d5ab47a8607c5ad4c34a4b6fb8fcc05

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Анастасия, нам уже сейчас интересно функционал посмотреть :) Если он есть, если он работает, его и без интеграций можно показать. Наш пример со стримом из новостного канала сделан без интеграции, например.
Поясняю также, почему у вас результаты другие - наша система ищет варианты только в продуктовых фидах партнеров. Где ведется поиск у вас, к сожалению, не знаю. И почему-то у меня не получается зайти в раздел Find similar на вашем сайте. Как я понимаю, вы именно там и искали платья по скрину(картинке) из видео.

Ответить
Развернуть ветку
Anastasia Zaiceva

Чтобы получить доступ к демо, заполните, пожалуйста, зайвку на сайте, мы рассмотрим и дадим ответ.

Ответить
Развернуть ветку
Malik Khodjaev

Здравствуйте, а на сколько было затратно по бюджету разработать подобную систему и сколько времени ушло для получения такого крутого результата ?

Ответить
Развернуть ветку
Mike Espoo
Ответить
Развернуть ветку
Nadezhda Kos
Автор

Malik, спасибо! Саму технологию обучаем с 2016, отдельно работать с видео начали год назад, порядка 10 месяцев понадобилось. По бюджету сказать сложно, так как параллельно работаем и над другими продуктами на базе Sarafan.AI

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Виртуальная витрина на Glamour TV: https://www.glamour.ru/video/pravila-stilya-romantika

Ответить
Развернуть ветку
Александр Братко

Вы в тренде и молодцы однозначно. НО..
В самом начале видео появляется тушь, а на на 1:20 появляется парфюмерная вода...
Ну с тушью, наверно, ИИ может справиться.
Но как он распознал парфюмерную воду? нигде на видео нет ничего похожего.
Складывается ощущение, что этот список сформирован менеджером. Отображение его поверх видео - дело техники.

Можно как -то на стриме посмотреть демо?

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Александр, спасибо! Поясняю по вопросам: 1) в самой статье приложила две гифки с видео процесса. Все это был стрим. К сожалению, дать ссылку на демо не могу - это все внутренние инструменты. Но я могу вам наснимать видео с экрана, только надо будет как-нибудь наладить более оперативное общение, чтобы вы могли параллельно стрим смотреть на своем экране. 2) а теперь перейдем к парфюмерной воде и туши - косметика в данном видео - это рекомендации к образу. Система считала, что есть платье, например, и добавила к нему парфюмерную воду.

Ответить
Развернуть ветку
Antony Rum

Это прям мощно.

Ответить
Развернуть ветку
Максим Малютин

Крутая технология!

Ответить
Развернуть ветку
Насрула Насрулаев

Я бы не сказал что первые в России. Вот разработка одного Дагестанца. В 2017 году передставлял на конкурсе.
https://yandex.ru/video/touch/search?filmId=785297405729333528&text=clevapi&ts=1560448101739&source=share

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Насрула, спасибо за информацию. Внимательно изучила сайт - ребята из Clevapi для видео пока делают только тегинг

Ответить
Развернуть ветку
Gs7755 Селеджи

Технология похожа на ту что была вшита в терминатора во второй части :)
Вопрос: каталог интернет-магазинов с которым сверяется ИИ при определении объектов в видео и фото, он скачивается вами и находится в неком локальном архиве или ИИ сам обращается к чему-то на подобии поиска по фото в гугл и ищет инфо в сети?

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Спасибо, Терминатор крут! :) Система ищет товары по базе каталогов (продуктовых фидов) магазинов партнеров, не по всей сети

Ответить
Развернуть ветку
Сергей Головин

Wow

Ответить
Развернуть ветку
Катерина Снегирева

клааас
наконец то

Ответить
Развернуть ветку
Avgust Romero

Вы спасете ТВ. Давно ждут подобные решения. Это очень круто и изменит Мир! Где за вами следить?

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Avgust, спасибо! Приятно! Все новости публикуем в нашей группе в FB: https://www.facebook.com/Sarafan.techRU/

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Nadezhda Kos
Автор

Про техническую часть материал готовим, скорее всего, разместим на Хабре. Там же и про библиотеки расскажем. Обязательно продублирую здесь в комментариях.

Ответить
Развернуть ветку
Kirill Timofeev

Идеально было для обычных пользователей иметь такую функцию.
Закидываешь ссылку на фильм или просто вписываешь сам фильм, временной кадр и система распознает что одето на персонаже, идем по ссылке в магаз и покупаем.

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Мы начинали с приложения, в него можно было бы загрузить фотографию, в итоге отказались от этого формата - очень долгая цепочка действий с ним получается. Мы планируем охватить всееее площадки с видео, чтобы вам ничего не нужно было скачивать - нажимаете кнопку и сразу получаете результат

Ответить
Развернуть ветку
Kirill Timofeev
Ответить
Развернуть ветку
Ware Wow

Что по деньгам получилось или пока не удается заработать?

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Продукт только запустили. А так мы активно растем, выходим на новые рынки. Совсем скоро расскажем про новые интеграции уже за рубежом

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Нарсула, спасибо за комментарий! Как я поняла по описанию на сайте, у clevapi пока есть только тегинг, наш ии распознает и ищет товары

Ответить
Развернуть ветку
Цой жив

А какая разница искать товар по видео или по фото?
Просто Google уже давно по фото товары и вещи ищет

Ответить
Развернуть ветку
Цой жив
Ответить
Развернуть ветку
Nadezhda Kos
Автор

ух, вы молодец, сколько скриншотов сделали :)

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Добрый день, Ivano! Поиск по картинке Google создан исключительно для пользователей. Мы работаем в совсем другом поле - создаем продукт b2b2c для маркетинга, основная цель - сделать рекламу в медиа более таргетированной и нативной.

Ответить
Развернуть ветку
Цой жив

Яндекс, случаем не такой же сервис запустил?
https://vc.ru/services/71093-yandeks-razrabotal-prilozhenie-dlya-raspoznavaniya-odezhdy-v-video-i-obsuzhdeniya-mody-sloy

Ответить
Развернуть ветку
Nadezhda Kos
Автор

нет, не такой же. Почитайте, пожалуйста, саму статью, там подробно описаны сами форматы

Ответить
Развернуть ветку
Цой жив

Согласен. Главное, чтобы вы веровали

Ответить
Развернуть ветку
Цой жив

Как засуетились то после анонса аналогичного серивса от Яндекса. Чем же они три года занимались?

Фаундерам Admitad нужно остановится изображать из себя инвесторов и собрать профессиональную команду из цифровых экспертов, способных не только найти "прикольный проект" но и раздуть его до единорога. Ну а сейчас чего, пожевали и выплюнули.

Ответить
Развернуть ветку
Nadezhda Kos
Автор

Не знаю, к сожалению, чем занимался Яндекс три года. Но мы в любом случае анонсировали запуск нашего продукта раньше, чем Яндекс: https://incrussia.ru/news/sarafan-zapustil-poisk-tovarov-po-video/ - вот статья о запуске от 6 июня на Inc. И в отличие от Яндекса, мы уже его разработали и запустили.

Ответить
Развернуть ветку
Цой жив

Да причем тут, кто раньше? Вопрос, кто займет рынок.. если он вообще есть.
То, что вы пилили три года, Яндекс сделал за месяц. В этом вся суть.

Ответить
Развернуть ветку
43 комментария
Раскрывать всегда