Куда приводят мечты? Научить машину ассоциативному мышлению

Итак, идея рождена в мае 2019 года, читайте первую часть если пропустили. (Часть первая- Как мы искуственный интелект продавать учили)

Мы взволнованы и переполнены энергией. Мы хотим менять мир. Мы инноваторы. Мы все! Но опыт предыдущих стартапов нам говорит:

• «Стой! Делай то, что принесет тебе бабки как можно быстрей, не меняй мир, заработай первую $1k»

Мы перестали думать о линзах, очках, в которые мы могли бы интегрировать технологию, и пришли к достаточно известной и уже проверенной бизнес модели. Будем распознавать объекты и продавать рекламу.

Наш собственный поиск и наши фолловеры в социальных сетях нам постоянно скидывали различные компании, которые так или иначе занимались распознаванием объектов на изображениях или видео.

Я и Костя два неугомонных ума, нас терзали бесконечные сомнения. Почему компании конкурентов стоят миллионы и сотни миллионов $ и нет единорогов? Почему их технологии встречаются так редко на просторах интернета? Почему? Почему? Почему? Мы нашли множество компаний по основным критериям: visual search & advertising. Положили на стол, достали нож и началась разделка:

• Все проекты объединяла ограниченность в рекламном инвентаре и соотвественно в показах рекламы, т.е. они были заточены на узкий круг товаров даже внутри одной категории товаров или бренда, т.к обязательным условием показа рекламы являлось идентичность товара
• У многих проектов были ограничения по возможным применяемым бизнес моделям. Либо они были b2b и очень сложные, либо они были b2c и на наш взгляд не являлись жизнеспособными. Например, некоторым проектам требовалось взаимодействие с продак плэйсмент агенствами для того чтобы показать рекламу в видео на смарт тв.
• У всех проектов была проблема с недостаточным количеством данных-товаров, которые продаются в данный момент и которые можно показать в актуальном визуальном контенте. И при все этом за данный товар рекламодатель готов заплатить Т.е. фактически проблема курицы и яйца.

Обобщенно можно было выделить задачи, которую нам нужно было решить лучше, чем наши конкуренты:

• Независимо от даты выпуска визуального контента подобрать актуальную рекламу товаров или услуг к найденным в нем объектам.
• Показывать рекламу к объектам, найденным в кадре таким образом, чтобы не завесить только от алгоритмов похожести и при этом не вызывать у пользователя непонимания почему в этом месте установлено именно это рекламное объявление
• Получить и получать постоянно в дальнейшем большой и актуальный рекламный инвентарь чтобы машина могла применять различные алгоритмы показов рекламы.

Нам нужно сделать так чтобы машина «думала» как человек при просмотре контента.

• Я хочу эту красную сумку и это подойдет к моим туфлям
• Крутая рубашка у парня, к ней подойдут новые наручные часы
• Отличный отель надо бы туда съездить как будет время

Как мы знаем, человек обладает мышлением и компьютеру еще сложно это воспроизвести-эмоциональный окрас, но мы подумали, что при решении наших задач мы сможем обучить машину ассоциативному принятию решений.

Когда мы пытались сформулировать все требования и взаимосвязи распознаваемых объектов, сущностей, людей и т.д, то у нас на первый взгляд получался неведомый монстр, в котором нужно было анализировать все и вся. Спустя тесты и мозговую боль мы собрали все данные которыми обладаем и которые можем проанализировать и получил такую картину:

Весь этот зоопарк данных мы систематизировали и создали карту влияния каждой сущности в сцене друг на друга. Т.е. это работало так когда мы что-то видим в кадре:

• Окружение: Кухня повышает вес влияния объектам из рекламной категории Кухонная мебель, Kitchen Appliance , Ложки, Средства за уходом для кухни, Стаканы, Сервизы и т.д.

Итогом у нас получилась карта влияния ( мы специально ее исказили связи т.к. это параметры алгоритма и это является для нас большой ценностью) :

На изображении вы сможете увидеть какими сущностями мы оперируем и то что они все имею влияние друг на друга при анализе изображения и контекста с целью показа наиболее релевантной рекламы.

• Задача определена: Задача заключается в определении отношения объектов и сущностей к рекламным категориям по характеризующим признакам. Определив отношения объекта с рекламной категорией установить соединение между 2мя сущностями: категорией и объектом.

Отношения объекта- это когда объект имеет очевидную взаимосвязь с какой-либо категорией Taxonomy. По-другому отношение можно сформулировать как некоторое влияние объекта на товары из Taxonomy, т.е. когда мы видим объект на изображении мы можем предположить, что этот объект является центральным и нам необходимо к нему подобрать какие-либо товары по какому-то характеризующему признаку.

В задаче необходимо применять следующие отношения (характеризующие признаки):

• Товары из категории Taxonomy часто расположены на объекте
• Товары из категории Taxonomy часто применяются для объекта
• Товары из категории Taxonomy не могут быть применены без объекта
• Товары из категории Taxonomy применяются совместно с объектом

Для того чтобы работать с большими объемами данных и также различными типами связей между сущностями нужно 2 вещи:

• Люди с руками и головой (следующий пункт было сделать проще )
• Инструмент, с помощью которого люди могут передавать свои знания в машину т.е. в нашем случае указывать отношение объектов

Мы обыскали все интернеты и так и не смогли найти инструмента, который бы удовлетворял нашим требованиям. Пришлось создать свой. Нам потребовалось объединить возможности работы с большими объёмами данных и типов связи, а также чтобы каждая связь имела свой собственный вес. Все эти связи должны были устанавливается различными людьми, которые могли видеть и исправлять ошибки за машиной. В итоге у нас получился двухпанельник с большим набором функций и возможностью работы с графовыми и реляционными базами данных .

Вот на этом этапе мы чуть не выгорели. Я с Костей уже не испытывали той эйфории которая была в начале проекта. Нам казалось что мы никогда не сможем обработать и увязать такой объём данных, т.е. выполнить задачу по определению отношений объектов описанной выше. Для примера нам нужно было увязать определяемые объекты с рекламными категориями, собрать варианты определяемых объектов, соединить индустрии и тематики контекста с рекламными категориями и все эти связи исчислялись сотнями тысяч. Это АД. Мы приступили к делегированию. В итоге мы вручную с помощью 2х групп по 5 человек увязали все сущности между собой. И получили следующую картину.

На изображениях показаны связи различных сущностей. На последнем изображении показана сцена т.е. влияние сущностей в рамках одного изображения. Таким образом мы достигли следующего:

• Объекты в кадре как бы борются за показ рекламы. Т.е. алгоритмы определяют какую рекламу показать в каждом кадре. Например: показать рекламу чайника, кофеварки или бренда мебельного магазина.

Сегодня распознаванием объектов никого не удивишь, удивить может только точность определения.

Нам нужно было выявить насколько точно отрабатывают наши модели и поставить двойки машинам, когда и где они ошибаются. Параллельно этой работе мы вручную также тестировали некоторые связи, установленные при выполнении задачи по установке отношений сущностей. Итогом у нас получилась целый зоопарк классификации ошибок алгоритмов машин. И выглядело это примерно так: Наши 2 группы Data Since по 5 человек ВРУЧНУЮ метили ошибки и классифицировали их на тысячах изображений и кадрах из фильмов.

Только различных классов ошибок набралось около 30, вот несколько крупных категорий ошибок в которых еще от 5 до 10 классов ошибок.

• Неверность класса:
• Не верность позиции:
• Не верная Taxonomy
• Для классов без координат:
• Неверность Surrounding

Мы продолжаем работать и все ближе к нашей цели-> выпустить публичное демо для того чтобы вы смогли оценить наши труды или указать нам на недочеты, которые необходимо исправить.

Продолжайте следить за LensAI и присоединяйтесь к нашему Product Hunt. Мы будем вас радовать качественным контентом о ходе нашего проекта и различных историях по обучению машин.

LensAI это b2b сервис монетизации графического и видео контента на веб-сайтах партнеров.Технология позволяет сайтам партнерам зарабатывать деньги на показах рекламы нового формата call out размещаемым picture in picture.

Размещение рекламы происходит с помощью анализа видео и изображений,в результате анализа алгоритмы LensAI подбирают релевантную рекламу для показа конечному пользователю.

Отличительными преимуществами для рекламодателей и издателей,являются: ранее никем не использованные места с самым высоким откликом аудитории, подбор рекламы на основании анализа контента и объектов в нем по похожести и релевантности.

То есть рекламодатель хочет получить более высокую окупаемость инвестиций и теперь может выбирать не только сайт и показ, но и тип контента и объекты в нем в которых показывать свои товары и услуги. т.е. тот кто просматривает этот контент скорее всего, его купит.

А издатель в свою очередь получает способ монетизации контента,который ранее не монетизировался и это без потери уже существующих заработках на других видах интернет рекламы.

🎯

Мы создаем рекламный формат, который превращает визуальный контент в процесс совершения покупок - больше нет разрыва между просмотром и продажей.

И да, мы знаем, как поймать мимолетный взгляд клиента! 😉

LensAI собирается внести некоторые изменения в цифровую рекламу.Будьте первым, кто засвидетельствует их! 👀 -> Link или следите за моим FB