Куда приводят мечты? Научить машину ассоциативному мышлению

Итак, идея рождена в мае 2019 года, читайте первую часть если пропустили. (Часть первая- Как мы искуственный интелект продавать учили)

Мы взволнованы и переполнены энергией. Мы хотим менять мир. Мы инноваторы. Мы все! Но опыт предыдущих стартапов нам говорит:

Мы перестали думать о линзах, очках, в которые мы могли бы интегрировать технологию, и пришли к достаточно известной и уже проверенной бизнес модели. Будем распознавать объекты и продавать рекламу.

Наш собственный поиск и наши фолловеры в социальных сетях нам постоянно скидывали различные компании, которые так или иначе занимались распознаванием объектов на изображениях или видео.

Я и Костя два неугомонных ума, нас терзали бесконечные сомнения. Почему компании конкурентов стоят миллионы и сотни миллионов $ и нет единорогов? Почему их технологии встречаются так редко на просторах интернета? Почему? Почему? Почему? Мы нашли множество компаний по основным критериям: visual search & advertising. Положили на стол, достали нож и началась разделка:

Обобщенно можно было выделить задачи, которую нам нужно было решить лучше, чем наши конкуренты:

Нам нужно сделать так чтобы машина «думала» как человек при просмотре контента.

Как мы знаем, человек обладает мышлением и компьютеру еще сложно это воспроизвести-эмоциональный окрас, но мы подумали, что при решении наших задач мы сможем обучить машину ассоциативному принятию решений.

Когда мы пытались сформулировать все требования и взаимосвязи распознаваемых объектов, сущностей, людей и т.д, то у нас на первый взгляд получался неведомый монстр, в котором нужно было анализировать все и вся. Спустя тесты и мозговую боль мы собрали все данные которыми обладаем и которые можем проанализировать и получил такую картину:

Весь этот зоопарк данных мы систематизировали и создали карту влияния каждой сущности в сцене друг на друга. Т.е. это работало так когда мы что-то видим в кадре:

Итогом у нас получилась карта влияния ( мы специально ее исказили связи т.к. это параметры алгоритма и это является для нас большой ценностью) :

На изображении вы сможете увидеть какими сущностями мы оперируем и то что они все имею влияние друг на друга при анализе изображения и контекста с целью показа наиболее релевантной рекламы.

Отношения объекта- это когда объект имеет очевидную взаимосвязь с какой-либо категорией Taxonomy. По-другому отношение можно сформулировать как некоторое влияние объекта на товары из Taxonomy, т.е. когда мы видим объект на изображении мы можем предположить, что этот объект является центральным и нам необходимо к нему подобрать какие-либо товары по какому-то характеризующему признаку.

В задаче необходимо применять следующие отношения (характеризующие признаки):

Для того чтобы работать с большими объемами данных и также различными типами связей между сущностями нужно 2 вещи:

Мы обыскали все интернеты и так и не смогли найти инструмента, который бы удовлетворял нашим требованиям. Пришлось создать свой. Нам потребовалось объединить возможности работы с большими объёмами данных и типов связи, а также чтобы каждая связь имела свой собственный вес. Все эти связи должны были устанавливается различными людьми, которые могли видеть и исправлять ошибки за машиной. В итоге у нас получился двухпанельник с большим набором функций и возможностью работы с графовыми и реляционными базами данных .

Вот на этом этапе мы чуть не выгорели. Я с Костей уже не испытывали той эйфории которая была в начале проекта. Нам казалось что мы никогда не сможем обработать и увязать такой объём данных, т.е. выполнить задачу по определению отношений объектов описанной выше. Для примера нам нужно было увязать определяемые объекты с рекламными категориями, собрать варианты определяемых объектов, соединить индустрии и тематики контекста с рекламными категориями и все эти связи исчислялись сотнями тысяч. Это АД. Мы приступили к делегированию. В итоге мы вручную с помощью 2х групп по 5 человек увязали все сущности между собой. И получили следующую картину.

На изображениях показаны связи различных сущностей. На последнем изображении показана сцена т.е. влияние сущностей в рамках одного изображения. Таким образом мы достигли следующего:

Сегодня распознаванием объектов никого не удивишь, удивить может только точность определения.

Нам нужно было выявить насколько точно отрабатывают наши модели и поставить двойки машинам, когда и где они ошибаются. Параллельно этой работе мы вручную также тестировали некоторые связи, установленные при выполнении задачи по установке отношений сущностей. Итогом у нас получилась целый зоопарк классификации ошибок алгоритмов машин. И выглядело это примерно так: Наши 2 группы Data Since по 5 человек ВРУЧНУЮ метили ошибки и классифицировали их на тысячах изображений и кадрах из фильмов.

Только различных классов ошибок набралось около 30, вот несколько крупных категорий ошибок в которых еще от 5 до 10 классов ошибок.

Мы продолжаем работать и все ближе к нашей цели-> выпустить публичное демо для того чтобы вы смогли оценить наши труды или указать нам на недочеты, которые необходимо исправить.

Продолжайте следить за LensAI и присоединяйтесь к нашему Product Hunt. Мы будем вас радовать качественным контентом о ходе нашего проекта и различных историях по обучению машин.

LensAI это b2b сервис монетизации графического и видео контента на веб-сайтах партнеров.Технология позволяет сайтам партнерам зарабатывать деньги на показах рекламы нового формата call out размещаемым picture in picture.

Размещение рекламы происходит с помощью анализа видео и изображений,в результате анализа алгоритмы LensAI подбирают релевантную рекламу для показа конечному пользователю.

Отличительными преимуществами для рекламодателей и издателей,являются: ранее никем не использованные места с самым высоким откликом аудитории, подбор рекламы на основании анализа контента и объектов в нем по похожести и релевантности.

То есть рекламодатель хочет получить более высокую окупаемость инвестиций и теперь может выбирать не только сайт и показ, но и тип контента и объекты в нем в которых показывать свои товары и услуги. т.е. тот кто просматривает этот контент скорее всего, его купит.

А издатель в свою очередь получает способ монетизации контента,который ранее не монетизировался и это без потери уже существующих заработках на других видах интернет рекламы.

🎯

Мы создаем рекламный формат, который превращает визуальный контент в процесс совершения покупок - больше нет разрыва между просмотром и продажей.

И да, мы знаем, как поймать мимолетный взгляд клиента! 😉

LensAI собирается внести некоторые изменения в цифровую рекламу.Будьте первым, кто засвидетельствует их! 👀 -> Link или следите за моим FB