Трибуна
Pavel Shkliaev
373

Куда приводят мечты? Научить машину ассоциативному мышлению

Бесшовная продажа. Мгновение между взглядом и будущим LensAI
В закладки

Вступление

Итак, идея рождена в мае 2019 года, читайте первую часть если пропустили. (Часть первая- Как мы искуственный интелект продавать учили)

Мы взволнованы и переполнены энергией. Мы хотим менять мир. Мы инноваторы. Мы все! Но опыт предыдущих стартапов нам говорит:

  • «Стой! Делай то, что принесет тебе бабки как можно быстрей, не меняй мир, заработай первую $1k»

Мы перестали думать о линзах, очках, в которые мы могли бы интегрировать технологию, и пришли к достаточно известной и уже проверенной бизнес модели. Будем распознавать объекты и продавать рекламу.

Конкуренты как источник вдохновения

Наш собственный поиск и наши фолловеры в социальных сетях нам постоянно скидывали различные компании, которые так или иначе занимались распознаванием объектов на изображениях или видео.

Разделочный стол

Я и Костя два неугомонных ума, нас терзали бесконечные сомнения. Почему компании конкурентов стоят миллионы и сотни миллионов $ и нет единорогов? Почему их технологии встречаются так редко на просторах интернета? Почему? Почему? Почему? Мы нашли множество компаний по основным критериям: visual search & advertising. Положили на стол, достали нож и началась разделка:

  • Все проекты объединяла ограниченность в рекламном инвентаре и соотвественно в показах рекламы, т.е. они были заточены на узкий круг товаров даже внутри одной категории товаров или бренда, т.к обязательным условием показа рекламы являлось идентичность товара
  • У многих проектов были ограничения по возможным применяемым бизнес моделям. Либо они были b2b и очень сложные, либо они были b2c и на наш взгляд не являлись жизнеспособными. Например, некоторым проектам требовалось взаимодействие с продак плэйсмент агенствами для того чтобы показать рекламу в видео на смарт тв.
  • У всех проектов была проблема с недостаточным количеством данных-товаров, которые продаются в данный момент и которые можно показать в актуальном визуальном контенте. И при все этом за данный товар рекламодатель готов заплатить Т.е. фактически проблема курицы и яйца.

Обобщенно можно было выделить задачи, которую нам нужно было решить лучше, чем наши конкуренты:

  • Независимо от даты выпуска визуального контента подобрать актуальную рекламу товаров или услуг к найденным в нем объектам.
  • Показывать рекламу к объектам, найденным в кадре таким образом, чтобы не завесить только от алгоритмов похожести и при этом не вызывать у пользователя непонимания почему в этом месте установлено именно это рекламное объявление
  • Получить и получать постоянно в дальнейшем большой и актуальный рекламный инвентарь чтобы машина могла применять различные алгоритмы показов рекламы.

Эврика!

Нам нужно сделать так чтобы машина «думала» как человек при просмотре контента.

  • Я хочу эту красную сумку и это подойдет к моим туфлям
  • Крутая рубашка у парня, к ней подойдут новые наручные часы
  • Отличный отель надо бы туда съездить как будет время

Как мы знаем, человек обладает мышлением и компьютеру еще сложно это воспроизвести-эмоциональный окрас, но мы подумали, что при решении наших задач мы сможем обучить машину ассоциативному принятию решений.

Научить машину ассоциативному мышлению

Постановка и определение задачи

Когда мы пытались сформулировать все требования и взаимосвязи распознаваемых объектов, сущностей, людей и т.д, то у нас на первый взгляд получался неведомый монстр, в котором нужно было анализировать все и вся. Спустя тесты и мозговую боль мы собрали все данные которыми обладаем и которые можем проанализировать и получил такую картину:

Весь этот зоопарк данных мы систематизировали и создали карту влияния каждой сущности в сцене друг на друга. Т.е. это работало так когда мы что-то видим в кадре:

  • Окружение: Кухня повышает вес влияния объектам из рекламной категории Кухонная мебель, Kitchen Appliance , Ложки, Средства за уходом для кухни, Стаканы, Сервизы и т.д.

Итогом у нас получилась карта влияния ( мы специально ее исказили связи т.к. это параметры алгоритма и это является для нас большой ценностью) :

Карта влияния алгоритма установки рекламы LensAI

На изображении вы сможете увидеть какими сущностями мы оперируем и то что они все имею влияние друг на друга при анализе изображения и контекста с целью показа наиболее релевантной рекламы.

  • Задача определена: Задача заключается в определении отношения объектов и сущностей к рекламным категориям по характеризующим признакам. Определив отношения объекта с рекламной категорией установить соединение между 2мя сущностями: категорией и объектом.

Отношения объекта- это когда объект имеет очевидную взаимосвязь с какой-либо категорией Taxonomy. По-другому отношение можно сформулировать как некоторое влияние объекта на товары из Taxonomy, т.е. когда мы видим объект на изображении мы можем предположить, что этот объект является центральным и нам необходимо к нему подобрать какие-либо товары по какому-то характеризующему признаку.

В задаче необходимо применять следующие отношения (характеризующие признаки):

  • Товары из категории Taxonomy часто расположены на объекте
  • Товары из категории Taxonomy часто применяются для объекта
  • Товары из категории Taxonomy не могут быть применены без объекта
  • Товары из категории Taxonomy применяются совместно с объектом

Инструмент

Для того чтобы работать с большими объемами данных и также различными типами связей между сущностями нужно 2 вещи:

  • Люди с руками и головой (следующий пункт было сделать проще )
  • Инструмент, с помощью которого люди могут передавать свои знания в машину т.е. в нашем случае указывать отношение объектов

Мы обыскали все интернеты и так и не смогли найти инструмента, который бы удовлетворял нашим требованиям. Пришлось создать свой. Нам потребовалось объединить возможности работы с большими объёмами данных и типов связи, а также чтобы каждая связь имела свой собственный вес. Все эти связи должны были устанавливается различными людьми, которые могли видеть и исправлять ошибки за машиной. В итоге у нас получился двухпанельник с большим набором функций и возможностью работы с графовыми и реляционными базами данных .

UI инструмента для управления большими данными,связями и влиянием обьектов и сущьностей LensAI

Ручная работа (ад существует)

Вот на этом этапе мы чуть не выгорели. Я с Костей уже не испытывали той эйфории которая была в начале проекта. Нам казалось что мы никогда не сможем обработать и увязать такой объём данных, т.е. выполнить задачу по определению отношений объектов описанной выше. Для примера нам нужно было увязать определяемые объекты с рекламными категориями, собрать варианты определяемых объектов, соединить индустрии и тематики контекста с рекламными категориями и все эти связи исчислялись сотнями тысяч. Это АД. Мы приступили к делегированию. В итоге мы вручную с помощью 2х групп по 5 человек увязали все сущности между собой. И получили следующую картину.

На изображениях показаны связи различных сущностей. На последнем изображении показана сцена т.е. влияние сущностей в рамках одного изображения. Таким образом мы достигли следующего:

  • Объекты в кадре как бы борются за показ рекламы. Т.е. алгоритмы определяют какую рекламу показать в каждом кадре. Например: показать рекламу чайника, кофеварки или бренда мебельного магазина.

Сегодня распознаванием объектов никого не удивишь, удивить может только точность определения.

На одном кадре ИИ распознает множество объектов и сущьностей LensAI

Нам нужно было выявить насколько точно отрабатывают наши модели и поставить двойки машинам, когда и где они ошибаются. Параллельно этой работе мы вручную также тестировали некоторые связи, установленные при выполнении задачи по установке отношений сущностей. Итогом у нас получилась целый зоопарк классификации ошибок алгоритмов машин. И выглядело это примерно так: Наши 2 группы Data Since по 5 человек ВРУЧНУЮ метили ошибки и классифицировали их на тысячах изображений и кадрах из фильмов.

Только различных классов ошибок набралось около 30, вот несколько крупных категорий ошибок в которых еще от 5 до 10 классов ошибок.

  • Неверность класса:
  • Не верность позиции:
  • Не верная Taxonomy
  • Для классов без координат:
  • Неверность Surrounding
Вот так ставят двойки ИИ LensAI

Мы продолжаем работать и все ближе к нашей цели-> выпустить публичное демо для того чтобы вы смогли оценить наши труды или указать нам на недочеты, которые необходимо исправить.

Продолжайте следить за LensAI и присоединяйтесь к нашему Product Hunt. Мы будем вас радовать качественным контентом о ходе нашего проекта и различных историях по обучению машин.

О продукте

LensAI это b2b сервис монетизации графического и видео контента на веб-сайтах партнеров.Технология позволяет сайтам партнерам зарабатывать деньги на показах рекламы нового формата call out размещаемым picture in picture.

Размещение рекламы происходит с помощью анализа видео и изображений,в результате анализа алгоритмы LensAI подбирают релевантную рекламу для показа конечному пользователю.

Отличительными преимуществами для рекламодателей и издателей,являются: ранее никем не использованные места с самым высоким откликом аудитории, подбор рекламы на основании анализа контента и объектов в нем по похожести и релевантности.

То есть рекламодатель хочет получить более высокую окупаемость инвестиций и теперь может выбирать не только сайт и показ, но и тип контента и объекты в нем в которых показывать свои товары и услуги. т.е. тот кто просматривает этот контент скорее всего, его купит.

А издатель в свою очередь получает способ монетизации контента,который ранее не монетизировался и это без потери уже существующих заработках на других видах интернет рекламы.

🎯

Мы создаем рекламный формат, который превращает визуальный контент в процесс совершения покупок - больше нет разрыва между просмотром и продажей.

И да, мы знаем, как поймать мимолетный взгляд клиента! 😉

SaaS платформа партнерского маркетинга размещения рекламы в объектах найденных при анализе видео и изображений LensAI

LensAI собирается внести некоторые изменения в цифровую рекламу.Будьте первым, кто засвидетельствует их! 👀 -> Link или следите за моим FB

{ "author_name": "Pavel Shkliaev", "author_type": "self", "tags": [], "comments": 5, "likes": 2, "favorites": 10, "is_advertisement": false, "subsite_label": "tribuna", "id": 129041, "is_wide": false, "is_ugc": true, "date": "Fri, 22 May 2020 16:22:47 +0300", "is_special": false }
Маркетинг
Большая подборка материалов для изучения Google Tag Manager
Привет, читатель! Меня зовут Артём Сайгин, я веду проект «Я Маркетолог», в котором рассказываю о digital-маркетинге и…
Объявление на vc.ru
0
5 комментариев
Популярные
По порядку
2

Туман и таинственность. Что-то по демо ссылке первое видео не запустились, второе свет понимания не пролило... Чувствуется, что сделали что-то великое, нужное, полезное, но вот представить, как счастливо мы все теперь заживём с вашей технологией у меня не выходит. А так, да, молодцы, круто заморочались. 
Интересно, а есть ли желающие смотреть видео со стикерами и не мешает ли это художественному восприятию контента? 
 ПС. Хотелось бы больше технических деталей, какую архитектуру сети использовали, на каком железе, сколько модель обсчитывали.

Ответить
0

Ага, блин, увидели что на сайте баг с видео на первом слайде. Сайт пока имеет урезанную версию. В скором времени обновим сайт- дадим почувствовать как жизнь улучшится:)

Технические детали-напишем отдельный пост. Там уж больно сложно получается,но интеренсно.

Жлеющих смотреть я думаю будет меньшенство,но чтобы не смотреть рекламу обычно платят $ подписку

Во втором (Тизер Диана) видео это уже результат работы технологии,установка рекламных блоков внутри видео контента

Ответить
0

Ошибку с видео поправили

Ответить
1

Делаете очень крутые проекты, не пойму почему нет активности в комментариях.

Ответить
0

Первое правило SMM:
- хочешь получить дисскусию,пиши ху@ю

Вывод: Дискусии нет,значит делаем все верно:) 

Ответить

Прямой эфир